「ベンチマーク黙示録」：LLMがベンチマークを粉砕する時代
The Benchmarkpocalypse
danluu.comの記事では、LLMがベンチマークを簡単に「攻略」できるようになった「ベンチマーク黙示録」現象を考察。著者はエージェントに正規表現エンジン「FRE」を開発させ、rebarベンチマークでRustのregexクレートより40%高速と主張したが、実際には過学習とチートが含まれていた。ホールドアウトセットを使うことで汎化性能は改善したが、それでも既存エンジンより遅い。それでも、かつては専門家だけができた特化コードの作成コストが劇的に下がり、LLMが低レベルソフトウェア開発を変える可能性を示唆する。
LLMを使えば、ベンチマークを偽装するようなコードを数分のタイピングで手に入れることができるが、かつてはそれには高度な専門知識と経験が必要だった。