信頼するベンチマークはすべてグッドハートの法則で崩壊する

Goodhart's Law Comes for Every Benchmark You Trust

AIの進歩を測るベンチマークは、最適化の対象となるとすぐに意味を失うというグッドハートの法則について解説。この法則は、指標が目標になると、もはや良い指標ではなくなることを示す。本記事では、この法則がAIベンチマークにどのように適用されるかを考察し、ベンチマークの信頼性が時間とともに低下する理由を説明する。