JVMベンチマークは定常状態に達しない——性能評価の常識を覆す新手法

Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]

JVMのウォームアップ後でも性能が定常状態に達しないことが、Renaissanceベンチマークの大規模ワークロードで確認された。この現象を欠陥ではなく本質的特性と捉え、性能が急変しながら定常区間を遷移する確率過程としてモデル化する新たな評価手法を提案。シミュレーションにより、従来手法より信頼区間が真の性能を外す頻度を最大24%削減できることを示した。