マイクロベンチマークは300msで走らせろ
Benchmark in Milliseconds
マイクロベンチマークの実行時間について、著者は入力サイズを調整して約300msに収めることを推奨する。ミリ秒は1〜999の整数で精度と視認性に優れ、10ms未満ではインタプリタ起動などの固定費に歪められやすい。数百ミリ秒なら人間の直感で速度を把握でき、最適化の効果を「一瞬」になったと実感できる。一方、1秒を超えると反復実行が遅くなり、ばらつきの確認が難しくなる。ベンチマークの目的は正確な測定よりも、正しい判断を下すための直感を得ることだと著者は述べる。
ここで暗黙に前提としているのは、ベンチマークの目的は性能を精密に測定することというより、正しい判断を下すのに十分な直感を著者に与えることだということだ。