Claude Opus 5.5 领跑，开源模型差距拉大
Artificial Analysis Intelligence Index v5
Artificial Analysis 发布了 Intelligence Index v5，这是自今年一月以来最大规模的升级。本次更新首次将 60% 的评估权重建立在私有数据集之上，并引入了 FrontierCode 2.0 和 Terminal-Bench-Science 等新基准。结果显示，Claude Opus 5.5 以 58 分位居榜首，紧随其后的是 GPT-6 Astra。值得注意的是，开源模型与闭源模型的性能差距从之前的 3 分扩大到了 12 分，Kimi K3.1 Pro 虽为开源模型中表现最佳，但仍落后领先者一截。此外，不同模型在每任务成本上差异巨大，最高相差超过 13 倍。
在 v5 版本中，开源模型进一步落后，表现最好的 Kimi K3.1 Pro 得分 46 分，落后领先者 12 分，而这一差距在 v4.3 版本中仅为 3 分。
HN 评论区
80- hgoel
上次我就有点怀疑，这次更是疑窦丛生。他们评分的倾向性以及发布时机都显得非常可疑。另一方面，新模型几乎每天都在发布，所以也许根本无法做到完全公平。
我认为所有基准测试都面临的一个问题是精度。一分的差距意味着什么？需要多少分的差距才能转化为模型之间有意义的区分？
此外，如果他们为了剔除饱和组件而如此频繁地更新基准测试，那保持其私密性还有什么研究意义？
- peri-cl
这篇报告未能披露他们悄悄从新基准测试中删减了几个开源权重模型。而且是很热门的那些。它们不在图表中；无法手动添加到图表中；它们各自的模型页面现在显示的分数也是“N/A”。
GLM 5.3-flash: N/A
https://artificialanalysis.ai/models/glm-5-3-flash/
Qwen 3.8-flash-next: N/A
- simonjgreen
这可能是我第一次只收藏帖子却不点赞。
这真的很可疑。我希望能从 AA 那里得到更详细的解释和观点，说明他们认为需要修正什么问题，以及为什么排名会发生这样的变动。如果他们能如此轻易地调换排名位置，又凭什么声称他们的指数具有相关性？
- kamov
多语言指数中的自然语言选择在我看来非常奇怪且带有偏见。他们试图涵盖广泛的亚洲语言，但随后却只有四种欧洲罗曼语族语言。他们没有包含任何斯拉夫语族（如俄语）、北欧语族（如瑞典语）或芬兰-乌戈尔语族的语言。而且这些罗曼语族语言在训练数据中可能本来就已经过度代表了。
- chvid
“FrontierCode 验证器会根据任务的测试和评分标准对每次尝试进行评分。我们使用 GPT-6 Luna (medium) 作为 LLM 裁判。”
他们为什么使用闭源 LLM 作为裁判？闭源提供商可以看到你的流量，并随心所欲地进行调整。