重制 Minecraft 为何不是 AI 评测基准
Recreating Minecraft Is Not a Benchmark
GPT Astra 发布后，重制 Minecraft、画鹈鹕骑自行车等视觉演示瞬间刷屏。我称其为“demo-benchmarks”，它们直观易懂，却因目标固定而极易被模型过拟合。当测试集泄露进训练数据，小模型也能在 Artificial Analysis 等榜单上超越旗舰版，这测的是准备而非能力。虽然 LiveBench 和 ARC-AGI 尝试通过轮换题目来应对，但社交媒体依然偏爱直观的演示。演示是绝佳的营销内容，但绝不能作为衡量模型真实能力的标尺。如果模型在榜单上高分却在实际工作中频频受挫，那才是真正值得深挖的差距。
一个能按时间表被完美掌握的测试，衡量的是准备程度而非真实能力，这完全违背了基准测试的定义。
HN 评论区
72- 0xb0565e486
我总在网上看到 Astra 生成漂亮的 3D 作品，可当我把一些老派 RuneScape 的素材喂给它（甚至试过附带非常详细的指南），让它生成一些合理的新素材时，结果却惨不忍睹。
我觉得目前的（前沿）模型在创造“新颖”内容方面，似乎还有很大的问题？哪怕是 2004 年风格的图形……
还是说我推广的方式不对？
- orbital-decay
这听起来没什么说服力，因为 a) pelican 测试是主观的，根本没有可泄露的答案，因为它没有直接的参考答案，可能只有一个极其微弱的偏好信号；b) 当你更换主题时，同样的小模型实际上表现也不错。有些模型确实被训练得在某些领域更出色，比如本例中的 2D 布局或矢量图形。这完全取决于特定的配方和数据集。这恰恰是这类测试作为“氛围检查”（vibe checks）很糟糕的原因：它们无法区分泛化能力、记忆效应和训练偏好。特别是针对流行软件进行“一次完成”（one-shotting）的测试，绝对不是什么好测试，因为记忆效应会主导整个过程。
AAII 也没什么用，任何通用的分数/基准都一样。如果你想看天气预报，你不会去看地球的平均气温。
（话说，“one-shot”这个词是什么时候被劫持，变成了“一个示例”以外的意思的？..）
- bluegatty
答案对了，论点错了。
“实验室正在为此进行优化”这个例子，论点就是错的。
AI 随意生成一些“看似复杂”的东西并不难——难的是能够按照规格生产出来，而规格中往往包含模糊不清的元素——并且之后还能对其进行合理的修改。
看看图像生成：你按下魔法按钮，得到一只“骑自行车的鹈鹕”——但你不能只改变鹈鹕的“帽子”。你必须再次按下魔法按钮，结果你得到了一只完全不同的骑自行车的鹈鹕。
这才是根本的谬误。
这类似于“写代码就是工作”这种谬误——其实不是——真正的工作是研究、设计、文档、集成以及所有那些必须“存在于某处”的“诀窍”，这样才能让输出结果的形态得以调整和塑造。
随意生成的代码输出几乎毫无价值，它只是那个“80% 意味着还有另一个 80%，然后又是另一个 80%”的起点。它只是一个更好的起点而已。
AI 的研究能力，虽然不适合做漂亮的演示，但 arguably 更强大。
- hombre_fatal
> 问题就在这里，这些测试再也无法告诉你模型有多好了，因为实验室在下一个版本中针对这些测试进行优化简直易如反掌。
但这并不能证明这个说法。难道模型在重制 Minecraft 方面非常出色，可一旦你把“Minecraft”这个词换成另一个游戏或自定义游戏，它就彻底崩盘了吗？
我没看到这种情况。我的信息流里到处都是人们用 Astra 重制各种游戏，从 Diablo 到他们想到的各种随机点子，细节打磨得令人难以置信，比如那些动画，用 gpt-5.6-sol 可能需要我迭代几周，而 Astra 一次就搞定了。
- bloaf
我希望人们采用的基准测试是：
构建一个基于流程图的稳态化学过程模拟器，然后用它来模拟和优化一个全规模的炼油厂。
1) 构建一个能在这个规模上工作的求解器引擎并非易事，成功的方案更多依赖于启发式方法，而非某种截然不同的解决方案。
2) 定义与此任务相关的工程方程，依赖于理解回答稳态过程模型问题所需的保真度水平。
3) 虽然可以从公开文献中获取化学品和原油的热物理性质，但这些信息分散，且不同的关联式适用于不同的情况。
4) 创建一个将流程图转换为矩阵数学的 GUI 并非易事，尽管顺序模块化方法稍微容易一些。
5) 以能够稳健求解的方式定义大规模模型，既是艺术也是科学。例如，像制冷系统这样完全封闭的循环回路对求解器来说是噩梦，因此通常最好以开环方式定义它们。
6) 优化涉及了解相关商品价格，但更重要的是如何定义模型约束，以免它只是建议生产无限多的汽油。
7) 排查不可避免的收敛失败问题，同样既是艺术也是科学。虽然有很多诊断技术，但根本上你需要能够理性地……