Anthropic推出概念推理指数CRI
Anthropic: Introducing The Conceptual Reasoning Index
Anthropic联合Redwood Research发布了概念推理指数（CRI），旨在评估AI模型在缺乏实证反馈场景下的推理能力。面对高级AI风险治理中常见的哲学思辨与长期决策难题，团队构建了LMCA、ACCoRD和DTBench三项基准测试。结果显示，即便是Opus 5等顶尖模型，其概念推理得分仍远低于理论上限，且自2024年底以来呈线性增长趋势。这一指标将帮助开发者更精准地衡量模型在AI安全与治理领域的实际表现。
许多减少高级AI风险的任务缺乏实证反馈循环，需要模型运用哲学、AI未来主义等领域中常见的论证方式。
HN 评论区
53- lanyard-textile
啊，没错——Anthropic 自己花钱搞的闭源基准测试，结果 Anthropic 自己排第一。
0/10
- andsoitis
开篇第一句：
> 管理 AI 风险的一个核心希望是，AI 将帮助我们理解我们的处境
先打住，请你好好想想这个前提。
- xlayn
我们完全搞出了这个指数，它能让我们制定政策，确保公众只使用最好、最安全的 AI……
绝对没有利益冲突，也没有游说行为。
而且这和那些中国模型毫无关系……这和 HD 与本田的情况不一样……
信我们吧，这和波音自己做认证和检查一样棒！
-- 第一条回复：那些蠢模型，谁用啊，它们只会算 1+1。
-- 另一条：他们也会这么干，所以谁在乎呢……
-- Valve 那家伙是个混蛋，而且搞垄断……
- onomojo
我们发明了一个新基准测试，看吧，我们排第一。跟我们要比，其他人都不行。尤其是那些脏兮兮的开源模型。
- eutropia
这是 AI 对齐工作在一个重要方向上的 modest 开端；正如作者所指出的，这类工作通常由那些难以通过经验验证、也难以用数学建模的任务组成——因此很难用常规的 RL 技术去处理。
我觉得 ACCoRD 基准测试最有趣，因为理论上你可以从基准模式（测试同一模型的两个实例是否满足 `P(A) ≥ P(A&B)`）扩展开来，做到 `P(A)≥ P(A&B) && P(A) ≥ P(A&C) && P(A&B) ≥ P(A&B&C) && P(A&C) ≥ P(A&B&C) ...` 等等。
也就是说，一群模型实例可以集体测量其一致性，从而获得更高的置信度，对吧？
无论如何，即使只是测量模型信念一致性的基本想法，也能提升我们利用内省方法来确定对其信任上限的能力。