AIと人間のサンプル効率の差を埋めるには、モデルを7桁大きくすべき
Quadrillion-parameter transformers and how to train them
Q Labsの新論文は、データセットを固定したまま計算量を増やすと、最適なモデルサイズが際限なく大きくなり続けることを示す。5Tトークン・10^29 FLOPsではChinchillaの約7000倍のパラメータ数が必要になり、さらにエポック数とアンサンブルもスケーリング軸として組み込む。重み減衰のスケーリング則とスナップショット・アンサンブルを統合した単一のスケーリング則を提案し、データ制約下でも計算量に応じて損失が下がり続ける処方を与える。
人間は約100Tのパラメータを持ちながらわずか約200Mトークンから学ぶ。トークンあたりパラメータ数の差は1万倍であり、サンプル効率の差を縮める重要な一歩はこの差を埋めることかもしれない。
HNでの議論
62- joefourier
> 一方で人間は約100Tのパラメータ（各シナプスを重みとして数える）を持ち、わずか約200Mトークンから学習する。トークン対パラメータ比は1:500,000だ。
これは公平な比較ではないと思う。というのも（私の知る限り）人間はランダムに初期化された神経重みを非常に汎用的な構造で持って生まれるのではなく、少なくとも極めて強い帰納バイアスを持っているからだ。原始的な神経系を持つ最初の動物から今日の人間までの数億年にわたる進化を数に入れるのは妥当だと思うし、その間に「学習」された「トークン」の量はおそらく膨大だ。200Mトークンは、遺伝的な「事前学習」に対する一種の「ファインチューニング」と考える方が良いだろう。
- TGower
> 我々の新しい論文（Baron et al., 2026）は、データセットを固定した場合、計算最適なモデルサイズは計算予算とともに増え続けることを見出した。
実際にはデータセットは固定されていない。より多くの合成データ、より多くのRLロールアウト、そしてこの論文が提案するパラメータ数を増やすことの間で、計算をどこに配分するのが最善かというアブレーション研究が見られれば興味深い。残念ながらそれはフロンティアラボだけが正確に行える実験であり、彼らがそのような高価で価値のある情報を競合他社に提供する可能性は低い。
- notlibrary
地球には20兆匹のアリがいる
- frozenseven
- ozgrakkurt
そう、シナプスは重みだ。科学を知ってるんだな、賢いな