67美分训练Transformer拿下ARC-AGI-1 44%
44% on ARC-AGI-1 in 67 cents
我在1.5小时内用5090显卡从头训练了一个小型Transformer，仅花费67美分就在ARC-AGI-1上取得了44%的得分，表现超越许多大型语言模型。这次升级不仅速度更快、成本更低，而且完全开源。通过引入现代架构、优化数据多样性以及采用NorMuon优化器，我成功提升了样本效率。尽管有人质疑在评估集上训练是否违规，但这实际上是元学习基准所鼓励的测试时训练（TTT）。我相信在Transformer框架内，65%的得分完全可达，关键在于降低实验成本，让全球研究者都能参与探索。
我认为样本效率是当今AI领域最重要的问题，而我的目标就是解决它。
HN 评论区
161- evilmathkid
你好！我是作者。看到这篇帖子现在上了 HN 有点意外。乐意回答任何问题！
关于这个工作的一些背景：
- 这 NOT 是一个 LLM。这是一个从头训练的微型自回归（AR）Transformer。其中的一个观点是，极其复杂的问题无需 LLM 也能解决。
- 直到这个结果的 v1 版本，该基准测试的规模提升仅由 LLM 或其微调模型实现（当然伴随着巨大的训练成本）。其他尝试表现尚可，但使用了极其复杂的架构或海量的训练算力。没人预料到一个简单的 AR Transformer 能以如此低的成本和如此少的训练样本取得这么好的效果。
- 样本效率（Sample Efficiency）是当今 AI 领域最重要的未解难题之一。这也是我这项工作的目标。我们知道增加算力和参数量很容易提升样本效率，因此尽可能限制成本至关重要（这也是 OpenAI 的 Parameter Golf 设定固定算力，以及 Modded NanoGPT 被认为具有极高样本效率的原因）。
- 性能还能提升吗？可以，但比赛正在进行中，所以不能细说。
- 就我个人而言，我认为从头训练可以击败当今的前沿模型。不过我还没证明这一点。
- 趣事：我第一次发这篇帖子时（2025 年 12 月）还是个 ML 新手。我基本上是把 ARC 当作学习 ML 的途径。
- foota
> 我同意，在现实生活中很少见到所有问题一次性给出的场景。即使有（比如考试），人类通常也只能一次尝试一道题。
只是觉得有一小段挺有意思。我总是在开始答题前通读整份试卷。这样我既能找到对自己来说最容易入手的问题，而且有时候这也能帮我理清其他题目的思路 :-)。
- foota
> 禁止离线训练/预训练。模型必须在提交后从头开始训练。
以前这被认为是不可能的，所以定成了规则。我的模型证明了这是可行的。
这保证了无法使用合成数据。
这确保了不同模型之间的比较是公平的。否则，像 LLM 这样的模型可以通过海量的离线训练来刷 ARC 的分数。（因为这个基准测试存在很久了，已经产生了大量 ARC 类数据集）
我不是 ML 研究人员，所以仅供参考（YMMV），但……一个模型如果没有预先训练，怎么可能学会回答这些 ARC-AGI 问题呢？
- lackoftactics
听起来你今天是走运的一天，在 Kaggle 上进了前 5 名，还有这样的发表成果。看来你很快就要坐飞机去旧金山了。
- bee_rider
我想（？）你已经向那些半懂行的人很好地解释了这种批评。但能不能再通俗一点，解释给那些完全不在圈内的人听？
> 在评估谜题上训练就是作弊/“在测试集上训练”。
> 不，这是错的。“在测试集上训练”特指在测试数据的标签上进行训练。我们并没有在标签上训练。
> 此外，ARC 是一个元学习基准测试，你本就应该从评估谜题中学习。
> 术语：ARC 包含一组训练谜题和一组评估谜题。每个谜题都有示例对和测试对。一对包含一个输入网格和一个输出网格。
> 在 ARC 中，标签仅指评估谜题中测试对的输出网格。
> 这些标签并没有被用于训练。它们是隐藏的。如果你愿意，可以提前删除它们。
我理解的是，考试附带了一批训练题，大家都同意可以在上面训练。但也许评估题也附带了输入/输出示例（用来帮助定义问题），而在这些示例上训练是有争议的？我看不出为什么会有争议，但这就是批评点吗？
- xeonax
更酷的是他个人简介里提到他救了自己一命 https://mvakde.github.io/ > 在医疗急救中自救（医生不知道横纹肌溶解症是什么）。
- rappatic
我没有任何 ML 背景，但我一直认为样本效率是 AI 领域最大的未解难题。人类的样本效率难以置信地好；通常我们只需要一两个例子就能牢固地学会某事。这是 LLM 远远落后于我们的主要领域。
- kvn95ss
> 另外，我不确定“通用推理”是否真的存在？也许人类也是特化的。
我也一直在想这个问题。我们现在接触了太多刺激，被误导以为这是常态——除非需要专业化，否则我们对万事万物都有合理的理解。