Los benchmarks en Java ya no alcanzan un rendimiento estable, y esto invalida las metodologías de evaluación actuales
Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]
Un estudio de la Universidad Charles y Oracle Labs analiza el comportamiento de la suite Renaissance en la JVM y confirma que las cargas de trabajo modernas no alcanzan un estado estable de rendimiento. Los autores proponen una metodología que modela la ejecución como un proceso aleatorio con segmentos de rendimiento estable separados por cambios abruptos. Sus intervalos de confianza fallan hasta un 20% menos que los métodos existentes, lo que mejora la precisión en la evaluación de rendimiento.
Sostenemos que la falta de rendimiento estable puede ser simplemente una realidad inevitable con las cargas de trabajo en las máquinas virtuales modernas.