性能评估新范式:告别稳态时代
Experimental Evaluation Methodology for the Era of No Steady Performance [pdf]
现代虚拟机性能评估正面临一个被忽视的现实:即使经过预热,许多工作负载也永远无法达到传统理论中的“稳态”。研究团队基于 Java Virtual Machine 和 Renaissance 基准测试套件,深入分析了这一现象,指出缺乏稳态并非故障,而是现代复杂工作负载的固有属性。文章提出了一种全新的实验评估方法论,将工作负载建模为在稳态片段间跳变的随机过程。实验证明,新方法生成的置信区间比现有方法更精准,能显著降低漏掉真实性能的概率,为性能测试领域提供了更可靠的统计模型。
我们主张,缺乏稳态性能可能只是现代虚拟机上工作负载的一种生存常态。