专家重评：前沿模型物理能力被低估
How good are frontier models at physics?
主流评测显示前沿模型在物理领域表现平平，但这可能源于评测本身的缺陷。研究团队邀请领域专家对 HLE-Physics、CMT-Benchmark 等六大基准进行重评，发现大量初始判错的案例实为题目歧义或参考答案错误。经过修正后，GPT-5.6-Sol 在多项指标上大幅提升，部分任务甚至接近满分。这一发现表明，当前评测体系严重低估了模型解决良构物理问题的能力，亟需更严谨的专家验证。
这些发现表明，当前的基准测试严重低估了前沿模型解决良构物理问题的能力。
HN 评论区
50- qt31415926
文章：《前沿模型的物理能力如何？专家重评揭示了评估体系的失效与头部基准的近乎饱和》
耶大的 John Sous 发布了一项相当扎实的研究，指出几乎所有物理基准测试都已失效，因为它们 consistently 将正确答案标记为错误。
当采用人工评分时，他们发现模型实际上已经饱和了这些基准测试，这有点令人不安。
- quantumtwist
最后一名作者还撰写了一篇相当易读的博文，作为文章的补充：https://jsous.github.io/blogs/is-physics-dead/
我发现其中一点特别有趣：“我们测试了一个基于 GPT 的智能体系统，该系统此前已成功解决过几个未决的数学猜想，现在将其应用于理论物理的开放性问题。令我们暂时感到宽慰和鼓舞的是，它甚至未能独立完全解决其中任何一个。我们还注意到，无论是通过我们的分析，还是通过独立基于智能体的分析，这些智能体在部分解决的物理问题上取得的进展，都远少于在难度相当的开放数学问题上取得的进展。”
- RomanKornev
越来越觉得这像中文房间实验了。
模型自信满满地回答物理问题，把它当成数学题来处理，但它们从根本上并没有“理解”，甚至最近连“我应该开车去洗车店吗”这种简单测试都失败了。
样本效率简直低得离谱。
即便如此，它们竟然还能饱和这些基准测试，实在令人惊讶。
- mch82
模型现在能做数学了吗，还是依然依赖“工具”来算数？
- amluto
（本人是受过训练的物理学家）
凭个人经验，前沿模型在根据文字描述理解物理情境方面绝对非常吃力。（好吧，我还没怎么试过 Astra。GPT-5.6 Sol 会犯下任何理解真实世界物体的人都不会犯的离谱错误。而且我只是问它关于 NPT 螺纹的问题，并非高深物理。）
但说真的，这些基准测试是怎么回事？论文中的示例问题是：
> PHYBench，第 140 题：同一绳索张力的等价表达式
> 问题陈述。三个相同的均匀球体放置在光滑水平面上，彼此接触且距离足够近。一根绳子在球心高度处环绕球体，将它们系在一起。第四个相同的球体放置在三个球体之上。求绳子的张力 T。已知每个球体的重量为 P。
不知为何，论文的重点在于评分器未能注意到某些模型生成的答案与参考答案在代数上显然是等价的。但这却忽略了房间里的大象：
1. “彼此接触且距离足够近”：正确的回应应该是：“嘿，教授，您说的‘距离足够近’是什么意思？它们是不是坐在一个等边三角形的桌子上，彼此相切（即在赤道处相切）？您是不是想到了另一种配置？”
2. 答案是 0。去拿四个棒球或四……