JVM 성능 평가, 더 이상 안정 상태를 가정하지 마라
Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]
체코 Charles University와 Oracle Labs 등 연구진이 JVM 워크로드에서 안정 상태(steady state)가 나타나지 않는 현상을 분석하고, 이를 결함이 아닌 고유 속성으로 간주하는 새로운 성능 평가 방법론을 제안했다. Renaissance 벤치마크 스위트를 사용한 실험에서 기존 방법보다 신뢰구간이 실제 성능을 놓치는 비율이 최대 24% 감소했으며, 구간 폭은 평균 5.6%만 넓어졌다.
우리는 안정적인 성능의 부재가 현대 가상 머신의 워크로드에서 그저 받아들여야 할 현실일 수 있다고 주장한다.