벤치마크가 틀렸다면 통계 분석은 오히려 독이 된다

Active Benchmarking

Brendan Gregg는 벤치마크를 실행만 하고 결과만 보는 '수동적 벤치마킹'의 위험을 지적한다. 그는 벤치마크가 도는 동안 다른 성능 분석 도구로 시스템을 관찰해 진짜 병목을 파악하는 '능동적 벤치마킹'을 제안한다. 잘못된 결과에 정교한 통계를 적용하면 오히려 신뢰할 수 없는 결론을 더 그럴듯하게 포장할 뿐이다.