AIベンチマークの飽和：60のベンチマーク調査で半数が飽和、専門家によるキュレーションが寿命を延ばす

When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation

AIベンチマークはモデルの進歩を測り、導入の判断を導く重要な仕組みですが、すぐに「飽和」してしまい、モデル間の差別化が難しくなります。本研究では、ベンチマーク飽和を定義し、60の言語モデルベンチマークを14の特性に基づいて分析しました。その結果、ほぼ半数が飽和しており、古いベンチマークほど飽和率が高いことがわかりました。また、飽和への耐性は専門家によるキュレーションに影響される一方、公開テストデータの有無は影響しないことが明らかになりました。これらの結果は、設計上の選択がベンチマークの寿命を延ばし、より耐久性のある評価アプローチにつながることを示唆しています。