AI 벤치마크 포화: 60개 언어 모델 벤치마크 분석 결과 절반이 한계 도달

When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation

AI 벤치마크는 모델 성능 측정과 배포 결정에 중요한 역할을 하지만, 빠르게 포화되어 모델 간 차별화가 어려워지고 장기적 가치가 떨어진다. 이 연구는 60개 언어 모델 벤치마크를 14가지 속성으로 분석하여 포화 현상을 정의하고, 거의 절반의 벤치마크가 포화 상태임을 발견했다. 포화율은 벤치마크의 연령이 높을수록 증가했으며, 전문가 큐레이션이 포화 저항성에 영향을 미치는 반면 공개 테스트 데이터는 그렇지 않았다. 이러한 결과는 설계 선택이 벤치마크의 수명을 연장하고 더 지속 가능한 평가 방식을 만드는 데 도움이 될 수 있음을 시사한다.