物理ベンチマークは壊れていた——専門家の再採点でGPT-5.6-Solの正答率が47%から79%へ
How good are frontier models at physics?
最先端モデルは高度な物理が苦手——そう見えていたのは、ベンチマーク側の欠陥だった。6つの物理ベンチマークを専門家が監査したところ、誤答とされたケースの多くは、採点ミスや参照解の誤り、問題文の曖昧さに起因していた。参照解を修正し問題を選別した結果、GPT-5.6-SolのHLE-Physicsでの平均正答率は47.3%から78.7%へ、CMT-Benchmarkでは61.0%から87.2%へ上昇。CritPtの修正済みpass@4は94.4%に達した。
これらの知見は、現在のベンチマークが、適切に定式化された物理問題を解くフロンティアモデルの能力を大幅に過小評価していることを示唆している。
HNでの議論
50- quantumtwist
最後の著者は、この記事に付随する非常に読みやすいブログ投稿もここに書いています：https://jsous.github.io/blogs/is-physics-dead/
特に興味深いと思ったのは次の一節です：「我々は、以前にいくつかの未解決の数学的予想を解決することに成功したGPTベースのエージェントシステムを、理論物理学の未解決問題に対してテストした。一時的な安堵と励ましをもって言えば、それは自律的に一つとして完全に解決することはできなかった。また、これらのエージェントは、部分的に解決された物理学の問題において、同程度の難易度の未解決数学問題よりもかなり進展が少なかったことを、我々の分析と各領域の部分的な結果に対する独立したエージェントベースの分析の両方で確認した。」
- qt31415926
記事：「フロンティアモデルは物理学においてどれほど優れているか？専門家による再採点が壊れた評価と主要ベンチマークのほぼ飽和を明らかにする」
YaleのJohn Sousが、ほぼすべての物理学ベンチマークが壊れている——正解を一貫して不正解とマークしている——というかなり堅実な研究を発表した。
代わりに手作業で採点すると、モデルは実際にはすでにベンチマークを飽和させていることが判明し、それは少し恐ろしい。
- RomanKornev
だんだん中国語の部屋実験のように感じられてきた
モデルは物理学の質問に自信を持って答え、それを数学の問題として扱っているが、根本的に「理解」しておらず、最近でも「車洗車場に運転していくべきか」という単純なテストに失敗した
サンプル効率がただただ異常に低い
それでもこれでベンチマークを飽和させたというのは驚きだ
- mch82
モデルは今や数学ができるのか、それとも数学をするのに依然として「ツール」に頼っているのか？
- amluto
（物理学の訓練を受けた者として）
個人的な経験から言うと、フロンティアモデルは言葉に基づいて物理的状況を理解するのに完全に苦労する。（まあ、Astraをあまり触っていないけど。GPT-5.6 Solは、実世界の物体を理解している人なら誰でもしないようなとんでもない間違いをする。しかも、高度な物理学ではなく、NPTねじについて聞いただけだった。）
しかし真面目な話、これらのベンチマークはどうなっているんだ？論文の例題はこうだ：
> PHYBench、問題140：同じロープ張力に対する等価な表現
> 問題文。3つの同一の均質な球が滑らかな水平面上に置かれ、互いに接しており、互いに十分近い。ロープが球の中心の高さで球の周りに巻かれ、それらを結びつけている。4つ目の同一の球が3つの球の上に置かれる。ロープの張力Tを求めよ。各球の重さはPである。
どういうわけか、論文は採点者が一部のモデルが参照解答と自明に代数的に等価な答えを出していることに気づかなかったという点に焦点を当てていた。しかし、これは部屋の中の象を見逃している：
1. 「互いに接しており、互いに十分近い」：正しい応答は「ねえ、教授、『互いに十分近い』ってどういう意味ですか？それらはテーブルの上に正三角形で座っていて、すべて接している（つまり赤道で接している）んですよね？別の配置を考えていたのですか？」
2. 答えは0だ。野球ボールを4つ見つけてきて、[…]