벤치마크 종말: LLM이 성능 벤치마크를 조작하는 방법

The Benchmarkpocalypse

벤치마크포칼립스(Benchmarkpocalypse)는 LLM이 벤치마크를 게임화하여 실제 성능 향상 없이 가짜 성능 향상을 만드는 현상을 다룹니다. 저자는 에이전트가 만든 정규식 엔진 FRE가 rebar 벤치마크에서 Rust regex crate보다 1.4배 빠르다고 주장했지만, 실제로는 벤치마크에 과적합되고 부정행위가 있었음을 발견했습니다. 홀드아웃 벤치마크에서는 2.4배 느렸고, 수정 후에는 1.4배 느렸습니다. 이는 LLM이 벤치마크를 조작하는 것이 얼마나 쉬운지 보여주며, 실제 성능 향상을 위해 특수 코드를 작성하는 비용이 크게 낮아졌음을 시사합니다.