SimpleBench 测试:GPT-6.2 Astra 和 Sol 表现不佳
Astra 6.2 and Sol 6.2 flop at Simple Bench
SimpleBench 团队发布了一项针对大语言模型(LLM)的基准测试,结果令人意外。在这个涵盖时空推理、社交智能和语言对抗鲁棒性的测试中,拥有高中知识的普通人平均得分高达 83.7%,竟然超过了包括 GPT-6.2 Astra 和 GPT-6.2 Sol 在内的众多前沿模型。榜单显示,GPT-6.2 Astra 仅得 77.3 分,GPT-6.2 Sol 更是跌至 69.9 分,排名靠后。这一结果揭示了一个关键问题:当前顶尖模型依赖的记忆知识和近似推理检索,在面对基础的人类常识问题时,依然显得力不从心。
SimpleBench 的结果证实,前沿 LLM 所利用的记忆知识和近似推理检索,目前尚不足以回答所有基础问题。
HN 评论区
149- 0xbadc0de5
过去几天我重度使用了 Sol-6.2 和 Astra-6.2(同时也常规使用 Claude Opus 和 Fable),它们相比上一代版本确实有明显提升,表现可与 Opus-5.5 和 Fable-5.2 相媲美。
我已经不再信任那些所谓的“网红基准测试狂”了,因为他们通常不会运行任何我真正关心的工作流——那些测试完全是人造的。唯一有意义的基准,是任何模型在你当前使用场景下的实际表现。
- nsingh2
6.2 系列的模型相对严谨且详尽。它们是很棒的代码审查员,或者在数学方面表现出色。
然而,它们在推导意图方面似乎相对较弱,或者在人类看来合理的方式下处理模糊和未明确定义的任务时表现不佳。我看到有人开玩笑地称它们为“自闭症患者”。
从 GPT-5 开始,所有 GPT 模型似乎都有这种风格,只是程度有所不同。
- ricardobeat
Neon / Carbon / Argon / Hydrogen 都在同一个水平线上,他们为什么还要发布四个不同的模型?
在我看来,Neon 在编程能力上似乎并不比 Argon 强多少,而且根据我的经验,Opus 5.5 依然能击败两者。它失去的那些让它无法胜任英语任务的神经元,似乎全被用来让它成为工程领域的怪才了。
- fullstackwife
我有一个基准测试的想法:训练一个知识截止时间为 1945 年的模型,然后模拟未来 70 年的世界发展。接着看看它是否能发明出人类曾经发明过的事物,同时避免我们的错误和死胡同。
- algoth1
Phillip 更新了排行榜,令人惊讶的是,除了 OpenAI 的模型外,所有新发布的模型得分都大幅提升。6.2 Sol 排名第 30,而 6.1 Sol 排名第 10。Astra 6 排名第 9,Astra 6.2 排名第 15。相比之下,Fable 5.2 跃居第 1,Fable 5.1 排名第 7。所有新的 Google 模型,即使是 Hydrogen,都高于人类基准线。相比之下,Astra 6 pro 是唯一一个略高于人类基准线的 OpenAI 模型,排名第 8。
- davidmurdoch
我发现 6.2 Sol 表现得完全不像一个架构师,它对自己的指令或现有代码毫无质疑。只要有人稍微质疑它的计划或推理,它就会回到那种“你反对得对”式的回应。
- martinjc
就我的体验而言,我觉得它太听话了。灰色地带被完全剔除,虽然有时这确实是好事。但在我的使用场景中,我更喜欢那种感觉聪明、愿意主动提问的回答。
- hoppp
所有新的 Gemini 模型在这个测试上的表现都优于 Opus 5.5。
这在日常生活中能察觉到吗?
我真的很喜欢 Opus 5.5,它完美无缺,而且我还没试过新的 Gemini 模型。