LLMs 在 TIS-100 中刷新人类极限
LLMs Play Zachtronics' TIS-100

研究人员让 16 款顶尖 LLM 挑战编程解谜游戏 TIS-100,结果令人咋舌。这些模型在不知晓社区排行榜的情况下,竟在 55 个谜题中发现了 133 个新的帕累托前沿点,其中 18 个直接刷新了人类保持的循环记录。Opus 5.5 和 GPT-6 Astra 表现尤为突出,不仅解开了所有谜题,还通过独特的算法优化策略,在循环数、节点数和指令数之间找到了比人类更优的平衡点。这项研究不仅展示了 LLM 在复杂工程任务中的潜力,也揭示了它们如何通过迭代测试和诊断反馈,构建出超越人类直觉的解决方案。
在 TIS-100 中,即使是两个数字相乘也是一项小型工程项目,而玩家们已花费十年时间在公共社区排行榜上优化这些程序。