Claude Fable 5.1登顶，GPT-6 Astra效率领跑
Artificial Analysis Intelligence Index v4.2
Artificial Analysis Intelligence Index v4.2正式发布，通过引入AA-Briefcase和GDP.pdf等更具现实挑战的测试集，大幅提升了评估的复杂性。新版指数将40%的权重分配给私有测试集，有效防止模型针对评测进行优化。榜单上，Anthropic的Claude Fable 5.1位居榜首，OpenAI的GPT-6 Astra紧随其后，并在输出Token效率上展现出显著优势。此次更新不仅反映了前沿模型的快速迭代，也标志着评估标准正从单纯的能力测试转向更贴近真实工作场景的实战检验。
我们正加速推进即将发布的v5版本中的部分功能，通过中期更新来紧跟前沿发展。
HN 评论区
65- jascha_eng
在我看来，他们的那个全知指数（omniscience index）与实际模型有用性的相关性最高。
https://artificialanalysis.ai/evaluations/omniscience
> 该指数衡量知识的可靠性和幻觉情况。它奖励正确答案，惩罚幻觉，且对拒绝回答不作惩罚。
这非常有用的，因为它让你真正信任模型的输出。在基准测试中得分高并不一定有用，因为一个被过度训练成总是给出答案的模型，会自信地输出错误内容。但这个指数衡量的是模型答对的频率，同时惩罚错误回答，因此高分意味着你可以更信任该模型；而当它不知道答案时，它更有可能告诉你它真的不知道，而不是胡编乱造。
Fable 在此项上的表现也远优于 opus 5，这与人们感知的强度高度一致，尽管这些模型在例如 DeepSWE 上的表现相似。
Astra 相比 sol 是一个巨大的飞跃，在此项上的表现与 fable 相当或略胜一筹。
- redox99
他们意识到 Astra 和 Sol 得分相同很荒谬，于是匆忙更新指数以符合人们的预期。
旧指数显然有问题（Astra 明明比 Sol 强得多），但像这样调整指数也是不科学的。
- throwaway13337
我完全不知道 artificial analysis 是怎么变成大家认真对待的东西的。这就是他们的新基准测试集？
扫一眼他们的新指数就会发现，无论他们在测什么，都毫无用处。
花一个小时用用 gemini 3.8，然后告诉我这个模型属于 2026 年。这模型感觉像得了阿尔茨海默病。它分不清自己读到的内容和自己生成的内容。简直烂透了。
我还没试过 muse spark 1.3。但既然 1.2 到 1.3 能冲到那个排名，那肯定是个奇迹。
这整个感觉就像游戏媒体的报道风格。
- jjcm
在我看来，OpenAI 和 Cursor 分家最大的损失之一，就是 CursorBench [1] 上不再能用到 OAI 的模型了。他们的基准测试一直最符合我对这些模型各自水平的直觉判断。我发现 AA 的 Intelligence 指数经常与我的主观评估不一致。
- __jl__
这确实是一项了不起的成就：“Astra 主导了输出 token 的前沿”。
许多实验室通过增加推理步骤来提升基准测试分数和性能。大多数中国模型已经这么做了有一段时间了。Google 和 Anthropic 也是如此。
唯独不是 OpenAI。5.6 在 token 效率上就已经远超其他模型，而 Astra 在 token 效率上更是大幅领先于 Sol。
补充：为了强调这一点：Astra (max) 拥有第二高的分数，同时输出 token 数量在所有 AA 展示的模型中排名第三低。