GPT-6 Astra 在 ARC-AGI-3 上超越人类效率
OpenAI's GPT-6 Astra on ARC-AGI-3
OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 基准测试中展现了惊人的代理智能。在使用 Provider Adapter 架构时，它取得了 99.9% 的得分，且在 96% 的关卡中，其操作效率甚至超过了人类基准。Astra 不仅能快速理解陌生环境，还能自发创造紧凑的代数符号语言来构建世界模型和规划行动。这一突破标志着 AI 在无需明确指令的情况下，已能像人类一样高效地探索、建模并解决问题，缩小了与通用人工智能（AGI）的差距。
Astra 的关键行为在于它能够将陌生的环境转化为紧凑的符号世界模型，将游戏机制表示为逻辑规则，并开发出自己的领域专用语言简写来跟踪状态和规划行动。
HN 评论区
144- at1as
我喜欢把 Erdos 问题作为基准测试。模型们还在继续解决这些问题，但在容易摘取的果实都被拿完后，现在的进展相当缓慢。
来自 https://epoch.ai/latest/announcing-frontiermath-erdos
> 只有 GPT-6 Astra 解决了其中一些问题：68 道题中的 2 道。它通过找到一个反例证伪了第 74 题，耗资 218 美元，耗时 15 小时；并证明了第 126 题，耗资 247 美元，耗时 16 小时。
> 在所有尝试中，GPT-6 Astra 至少解决过 68 道题中的 5 道：上述两道，加上它证伪的第 1 题，以及它证明的第 548 题和第 571 题。其余大部分问题总共被尝试了两到五次（共 172 次尝试），但无一解决。达成这五个解在所有尝试中总共消耗了超过 22 万美元的计算资源，而基准测试本身的运行成本约为 2 万美元。
这意味着能力上确实有了实质性的提升，但前方仍有一条很长的长尾，模型们还需要继续改进才能覆盖。
- malfist
用最少步数解决贪吃蛇类谜题游戏，这真的能定义智能吗？
- Betelbuddy
“为了进行成本对比，在我们的受控测试中，人类参与者每 90 分钟的会话获得 115 美元报酬，外加每完成一局游戏 5 美元。参与者每次会话大约尝试九局游戏，在计算奖金前，每局尝试游戏的成本约为 12.78 美元。
这笔费用的大部分是支付给参与者的时间和他们愿意接受测试的意愿，而不是他们大脑消耗的能量（这才是与 AI 对比的更贴切代理指标）。如果我们只看大脑的能量消耗，并按电价计价，估算成本会降至每次会话约 0.6 美分，或每局尝试游戏约 0.067 美分。”
好吧，我不确定你们其他人怎么想，但我是在为基于肉体的人类欢呼……
- modeless
每道题 360 美元。测试人类时，每道题大约耗时 10 分钟。如果价格/性能比继续保持目前的下降速度，两年内这将低于美国最低工资标准的人力成本。如果是菲律宾最低工资标准，那就是三倍。
- fastball
我们确定没有 Astra 黑客群入侵 arcprize.org 的服务器并窃取私有评估集，从而达成那 99% 的成绩吗？
- an0malous
OpenAI 之前是否运行过 ARC-AGI-3 测试，以便为集中的特定测试构建自定义框架？即使使用标准框架，如果他们事先知道这些问题，也可以利用监督强化学习来训练模型如何解决这些特定测试。
- scotty79
LLM 做门萨（Mensa）测试的能力怎么样？
- dwohnitmok
> Astra 的进展有助于阐明哪些 AI 能力尚不可及，以及哪些问题仍未解决。
好吧。但我觉得这篇文章完全没有解释哪些 AI 能力仍然不可及。是我漏看了什么吗？除了“哦，我猜它在 ARC-AGI-3 上还能变得比现在更超人类”之外？