Исследователи из Charles University предлагают метод оценки производительности без стабильного состояния
Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]
Исследование показывает, что даже крупные бенчмарки на виртуальных машинах не достигают стабильной производительности после прогрева. Авторы анализируют длительные прогоны Renaissance и предлагают статистическую модель, которая рассматривает производительность как случайный процесс с чередованием стабильных сегментов и резких изменений. Новая методология снижает частоту промахов доверительных интервалов более чем на 20% по сравнению с существующими подходами.
Мы утверждаем, что отсутствие стабильной производительности может быть просто фактом жизни для рабочих нагрузок на современных виртуальных машинах.