Artificial Analysis v5 与基准测试者的困境
Artificial Analysis v5 and the benchmarker's dilemma
Artificial Analysis 发布了 Intelligence Index v5，试图通过 Knowledge Work、Coding、Science 和 General 四大维度更真实地反映 AI 模型能力。然而，这一更新引发了关于基准测试的深刻反思：当单一分数主导万亿级市场时，测试者面临着既要简化指标又要保持前瞻性的两难。数据显示，封闭式模型在前沿科学和复杂代理任务上仍领先于 Kimi K3.1 Pro 等开源模型。尽管开源模型在特定领域表现强劲，但 RL 环境的差异和私有基准测试的兴起，让开源与闭源之间的竞争格局更加复杂。在 OpenAI 和 Anthropic 已不再过度关注排名的当下，这些指数对中小实验室的品牌生存却至关重要。
让分数上涨很昂贵，但我们对此有比创建真正前沿的有意义基准更清晰的行动指南。
HN 评论区
44- lordofgibbons
我希望 AA 能在人们实际使用模型的推理强度下进行基准测试。例如，我认识的人很少会使用“max”推理设置——尤其是因为 Claude Code 本身就会让人望而却步。但所有这些代码基准测试都只基于这种推理强度。
我理解他们只能测试这么多。但我更想要一个反映模型实际使用方式和提供给客户情况的基准，而不是它的最佳情况。
- matesz
“我最后需要指出的一点，虽然这对闭源实验室有些恭维，但像 Anthropic 和 OpenAI 这样的公司早在几个月甚至几年前就不再关心这些指标了。他们的主要精力集中在支持内部用途——比如 AI 研发自动化——以及那些每年花费数十亿美元的客户的使用案例上。”
这是真的吗？如果是，那就很有道理了。每次我尝试一些新发布的开源权重模型时，我都会感到失望。甚至一些较旧的 Claude 模型在回答质量上也胜过它们，尽管它们在基准测试中的“智能”得分更低。
- 6thbit
我认为我们应该把 AA 的结果仅仅当作一个数据点，而不是它们可能想充当的 overarching 'authority'（最高权威）。
如果我们能以一种有用的方式获取中立的原始基准测试数据来进行“苹果对苹果”的比较，那么我们就可以各自定义自己的“指数”，以获得我们觉得有用的视角。
试图通过单一指数来定义或比较“智能”总是会偏离目标。
- chvid
AA 是怎么赚钱的？他们的投资者是谁？
- anon373839
AA 在短短几周内就两次大幅改变了他们的方法论。我真的看不出他们综合评分还有什么用处——这基本上就是 LLM 版的 US News 大学排名。
目前看来，LiveBench 似乎能提供更好的校准信号。