67セントでARC-AGI-1の44%を達成した小さなTransformer
44% on ARC-AGI-1 in 67 cents
著者は、NVIDIA RTX 5090で1.5時間、わずか67セントのコストでゼロから訓練した小さなTransformerが、ARC-AGI-1で44%のスコアを達成したと報告しています。これは、多くのLLMを上回り、TRM/HRMと同等の性能です。このモデルはオープンソースで、ARC-2でも7%を達成しています。著者は、サンプル効率がAIにおける最重要課題だと考えており、この研究はTransformerのサンプル効率の限界を探り、反復を高速かつ低コストにすることを目的としています。技術的には、3D RoPE、タスク別埋め込み、SwiGLU、RMSNorm、NorMuonなどの改良を加え、入力トークンの訓練を廃止して教師あり学習に変更しました。アブレーションでは、3D RoPEとタスク別埋め込みが大きな貢献をしていることが示されました。著者は、Transformerフレームワーク内で65%に到達可能だと確信しています。
私は、Transformerだけで45%に到達するとは思っていませんでした。新しいアイデアが必要だと思っていたからです。ましてや、これほど低いコストとFLOPsで到達するとは思ってもみませんでした。
HNでの議論
161- evilmathkid
やあ！著者です。これが今HNに載っているのを見て驚いています。質問があれば何でも答えます！
これに関するいくつかの文脈：
- これはLLMではありません。ゼロから学習した小さなARトランスフォーマーです。要点の一つは、非常に複雑な問題はLLMなしでも取り組めるということです。
- この結果のv1までは、このベンチマークはLLMまたはそのファインチューン（もちろん莫大なトレーニングコストで）によってのみスケールされていました。他の試みはまあまあの性能でしたが、非常に複雑なアーキテクチャや非常に高いトレーニング計算量を使用していました。単純なARトランスフォーマーがこれほど低コストで、これほど少ないトレーニングサンプルでこれほど良い性能を発揮するとは誰も予想していませんでした。
- サンプル効率は今日のAIにおける最も重要な未解決問題の一つです。それがこの研究で目指したことです。計算量やパラメータを増やすことでSEを向上させるのは簡単だとわかっているので、コストをできるだけ抑えることが重要でした（そのため、OpenAIのParameter Golfが固定計算量だったり、Modded NanoGPTが非常にサンプル効率的と見なされたりしています）。
- 性能を改善できますか？はい、しかしコンペティションが進行中なので、それについては話せません。
- 個人的には、今日のフロンティアモデルはゼロから学習することで打ち負かせると思います。まだ証明はしていませんが。
- 余談：これを最初に投稿したとき（2025年12月）、私はML初心者でした。基本的にARCをMLを学ぶ手段として使っていました。
- foota
> 実生活で、すべての問題が一度に与えられる問題セットに直面することは珍しいという意見に同意します。たとえ試験のようにそうであっても、人間は通常一度に一つしか試みられません。
興味深いと思った小さな一節です。私はいつも試験を始める前に全体を読み通していました。自分にとって最も取り組みやすい問題を見つけるためでもありましたが、時にはそれが残りの問題を理解するのに役立つこともあったからです:-)
- foota
> オフライン学習/事前学習を禁止する。モデルは提出後にゼロから学習しなければならない。
以前はこれは不可能だと考えられていたのでルールになりました。私のモデルはこれが可能であることを示しています。
合成データが使用できないことを保証します。
これにより、異なるモデル間での比較が公平になります。そうでなければ、LLMのような一部のモデルは、途方もない量のオフライン学習を使用してARCをベンチマックスすることができます（ベンチマークが長い間存在しているため、ARCに似たデータセットが多数作成されています）。
私はML研究者ではないので、参考程度ですが...モデルは事前のトレーニングなしでこれらのARC-AGI問題に答えることをどうやって学ぶことができるのでしょうか？
- lackoftactics
今日はあなたにとって良い日ですね。Kaggleでトップ5に入り、このような論文を発表して。すぐにSF行きの飛行機に乗ることになりそうですね。
- bee_rider
思うに、あなたはこの批判を半ば情報通の人々に対してはうまく説明しているでしょう。しかし、ほとんど情報が入っていない私たちのために、もう少し噛み砕いて説明してもらえますか？
> 評価パズルでのトレーニングはカンニング/「テストでのトレーニング」である
> いいえ、それは誤りです。「テストでのトレーニング」とは、具体的にはテストデータのラベルでトレーニングすることを意味します。ラベルはトレーニングされていません。
> また、ARCはメタ学習ベンチマークなので、評価パズルから学ぶことが想定されています。
> 専門用語：ARCにはトレーニングパズルのセットと評価パズルのセットがあります。各パズルには例のペアとテストのペアがあります。ペアは入力グリッドと出力グリッドで構成されます。
> ARCでは、ラベルは評価パズル内のテストペアの出力グリッドのみです。
> これらのラベルはトレーニングされていません。それらは隠されています。必要に応じて事前に削除できます。
私がここで理解したのは、テストには誰もがトレーニングできると同意するトレーニング問題のバッチが付属しているということです。しかし、おそらく評価問題にも入力/出力の例（問題を定義するのに役立つ）が付属しており、それらでトレーニングすることは議論の余地があるのでしょうか？なぜ議論の余地があるのかわかりませんが、それが批判なのでしょうか？
- xeonax
さらにクールなのは、彼のアバウトメモに自分の命を救ったことが書いてあることです https://mvakde.github.io/ > 医療緊急事態で自分を救った（医師は横紋筋融解症を知らなかった）
- rappatic
私はMLのバックグラウンドはありませんが、サンプル効率はAIの偉大な未解決問題だといつも考えてきました。人間は信じられないほど優れたサンプル効率を持っています。しばしば、たった1つか2つの例で永続的に何かを学ぶことができます。これはLLMが私たちよりもはるかに、はるかに遅れている主な分野です。
- kvn95ss
> また、「一般的な推論」がそもそも存在するのかどうかも疑問です。もしかすると人間も専門化されているのかもしれません。
私も同じことを考えていました。私たちは現在、非常に多くの刺激にさらされており、これが普通であると思い込まされています。つまり、専門化が求められない限り、すべてについて合理的な理解を持つことが普通であると。