Steady-State-Performance ist eine Illusion – neue Methodik liefert verlässlichere Messungen

Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]

Eine Studie der Charles University und Oracle Labs zeigt, dass selbst große Java-Benchmarks der Renaissance-Suite nach dem Warm-up oft kein stabiles Leistungsniveau erreichen. Die Forscher schlagen eine aktualisierte Evaluierungsmethodik vor, die Workloads als zufälligen Prozess mit Wechseln zwischen steady-state-Segmenten modelliert. Mit dieser Methode sinkt die Rate der Konfidenzintervalle, die die wahre Performance verfehlen, um bis zu 24 % im Vergleich zu bestehenden Verfahren.