<div dir="ltr"><div>I regret to say that I can't reproduce my initial result showing 9% improvement on 3.2.0rc1 against 3.0.4. Both versions show the same speed now.</div><div><br></div><div>I also compared 3.0.4 against trunk in another environment:</div><div>Ubuntu 18.04.2 LTS (GNU/Linux 4.15.0-1014-gcp x86_64)</div>cpu model name: Intel(R) Xeon(R) CPU @ 2.00GHz<div><br></div><div>This is the raw result from 3.0.4:</div><div>640 Examples seen. Accuracy:0.1006 Error:   1.79914 Loss:2.31176 Threads: 4 Forward time:  0.99s Backward time:  0.77s Step time:  1.51s<br>1280 Examples seen. Accuracy:0.1025 Error:   1.78724 Loss:2.26048 Threads: 4 Forward time:  0.99s Backward time:  0.75s Step time:  1.49s<br>1920 Examples seen. Accuracy:0.1087 Error:   1.78000 Loss:2.26476 Threads: 4 Forward time:  0.99s Backward time:  0.77s Step time:  1.49s<br></div><div><br></div><div><div>This is the raw result from trunk:</div><div>640 Examples seen. Accuracy:0.1175 Error:   1.79696 Loss:2.30112 Threads: 4 Forward time:  0.94s Backward time:  0.72s Step time:  1.46s<br>1280 Examples seen. Accuracy:0.1203 Error:   1.79009 Loss:2.27688 Threads: 4 Forward time:  0.94s Backward time:  0.73s Step time:  1.44s<br>1920 Examples seen. Accuracy:0.1226 Error:   1.76832 Loss:2.20816 Threads: 4 Forward time:  0.93s Backward time:  0.74s Step time:  1.44s<br></div><div><br></div><div>I usually look at the "Step time" for comparisons.</div><div><br></div><div>Tested with: <a href="https://github.com/joaopauloschuler/neural-api/blob/master/examples/SimpleImageClassifier/SimpleImageClassifier.lpr">https://github.com/joaopauloschuler/neural-api/blob/master/examples/SimpleImageClassifier/SimpleImageClassifier.lpr</a> </div></div></div>