GPT-6 Astra、重みを直接読み書きしてQwenの弱点を修正
Astra can read and write weights to improve Qwen
MIT CSAILの研究チームが、LLMがニューラルネットワークの重みを直接読み書きできる「Weight-Space Programming」を報告。GPT-6 Astraは生の重みだけからネットワークが学習したゲームを言い当て、勾配を使わずにゲーム攻略ネットワークをゼロから構築。さらにQwen3.5-0.8Bの推論ループの原因を重みの中から特定し、わずか0.016%の重みを編集するだけでMATH-500を7.9%から48.1%へ引き上げた。
重みの修正によりMATH-500は7.9%から48.1%に上昇し、そのまま指示追従にも汎化してIFEvalを3倍に引き上げた。
HNでの議論
602- vessenes
これは正気の沙汰じゃない。
Astraはツールを使わずに、小さなネットワークが何のゲームで訓練されたのかを突き止められるし、ネットワークの重みを直接編集して結果を改善できる。しかも小さなQwenモデルを手作業で編集して、数学の能力を5倍ほど向上させられるんだ。
衝撃を受けてるよ。今朝の時点で「LLMは自分の重みについて、人間とニューロンの関係の理解よりも浅いのか、人間と同じくらいなのか、それとも人間以上なのか」と聞かれていたら、定義次第で「同じかそれ以下」と答えていただろう。
人間は脳を編集して数学が得意になるようにはできない。これは本当に、本当に驚くべきことで、極めて興味深い。これはかなりの数の解釈可能性理論や、これらのネットワークで何が起きているかについての哲学的見解を揺るがすんじゃないかと思う。
- xg15
さあ、来たぞ……
他の人も言っているように、これでもまだ完全にぶっ飛んでいるとはいえ、まったく予想外の驚きというわけではない。現世代のLLMに繰り返し見られる能力の一つは、人間なら同じ専門レベルに達するのに何ヶ月も何年もかかるような非常に複雑なシステムを、素早く把握できることだ。
これはコーディングエージェントが、広大なレガシーコードベースを数秒で「理解」して説明できる様子に見て取れる。
また、プロプライエタリなIoTプロトコルやコンピュータゲームをリバースエンジニアリングするためにLLMを使っているプロジェクトにも見て取れる。
だが、それらはいずれも、どんな構造がそこにあってリバースエンジニアリングすべきかを我々が詳細に知っているシステムだった。
もしモデルがこの能力を、内部構造がわからない別のシステムにも転用できるようになったら、今後はもっととんでもないことが待ち受けているだろう。(タンパク質相互作用ネットワーク? DNA配列? 生態系の相互作用? 動物の言語?)
重みについては、もしモデルが本当に特定の重みや方向の背後にある意味論を分析できるなら、テキストでの説明を与えたり、「手作業での」重み調整を一般的にもっと実用的にするためのツール設計を手伝ったりもできるんじゃないかと期待している。
- NitpickLawyer
> その結果、Astraは小さな推論モデルによくある失敗、つまりループを見つけて修正する[13]。ベースモデルがループすると、同じテキストを繰り返してほとんど答えにたどり着かない(最初の96回の練習回答のうち85回が32,768トークンの上限に達した)。Astraはループの原因を、レイヤー15と19のMLPが書き込んだ一つの方向に突き止め、各レイヤーの出力64列(131,072個の重み)からその方向を差し引いた。ちょうど、モデルの重みから単一の方向を削除してある振る舞いを取り除くようなものだ
ははっ! これはかっこいい。改善そのもの(おそらく古くて過学習気味のベンチマークだろう)ではなく、モデルがこの「ループバグ」の単一方向を見つけ出したというのがとてもかっこいい。おそらくガードレールが許せば、さまざまな話題について他の「単一方向」を見つけるのにも同じことができるだろう。これは本当に本当にかっこいい。特にmechanistic interpretability(機械論的解釈可能性)の人たちにとってはね。
- vanyle
これは創発的な能力だとは思わない。AstraはOpenAIが再帰的自己改善を目指す試みとして、ニューラルネットワークの重みのデータで訓練されたのだと思う。
似たようなことは初期のGPTモデルでも起きていて、標準記法のチェス対局が訓練データに大量に含まれていたため、プロンプトの形式さえ正しければチェスがとても得意になった。
このRSI(再帰的自己改善)の試みがうまくいったかどうかは、いずれわかるだろう。
- _bobm
このサブフィールド自体はずっと前から存在していると思う。いくつかキーワードを挙げるだけでも、推論中に動的な重みを生成する、ネットワークアーキテクチャから重みを予測する、事前に訓練されたネットワークパラメータの分布を学習する、といったテーマの論文が少しはある。
Parameter Prediction for Unseen Deep Architectures [1]
NeuroGen: Neural Network Parameter Generation via Large Language Models [2]
Diffusion-Based Neural Network Weights Generation [3]
私にとって重要なのは、Astraがそれをできるということだ。それができるように訓練されたのかどうかはわからない。
それでも、私の中ではこれが狂っていることに変わりはない。そして今夜どうやって安眠すればいいのか、まだわからない。
[1] https://arxiv.org/abs/2110.13100
- jsenn
これは2つの別々の結果を、やや誤解を招く形で混同している気がする。
> フロンティアLLMは、ニューラルネットワークの重みをネイティブに読み書きするのが驚くほど得意であることがわかった
この主張は、小さな(20k)専用モデルの重みのテキスト表現を与えられたAstraが、ツール呼び出しなしで重みを読むだけで、それらのモデルが何をするのかを突き止め、場合によってはRLができた以上の改善を加えられるという能力に裏付けられている。彼らはこれを「重み空間プログラミング」と呼んでいる。
> 同様に、勾配なしでQwen3.5-0.8Bを数学でより良くするよう求められると、AstraはQwen自身のモデルカードが警告している推論ループを引き起こす重みの問題を特定し、重みの0.016%をネイティブに編集することで修正する
ここではツール呼び出しを使っており、この小さなQwenモデルの推論ループを特定して修正するために、どうやら標準的なステアリングベクトル手法を使ったようだ。これは先ほどの結果とはあまり関係がないように思える。
- futureshock
これは完全に衝撃的だ。間違いなく懐疑的だよ。これらのモデルがどう動くかについての私の理解とまったく一致しない。直接的な重み編集に関する訓練データが、モデルにこのスキルを与えるのに本当に十分あるのだろうか? おそらくこれは、OpenAIがML研究に関する訓練データを大量に作ってきた証拠なのだろう。ただ、それが公開向けのモデルに入れられたのには驚いた。
- Imnimo
全体としては、小さなニューラルネットの重みを見てゲームを推測できることにそこまで驚いてはいない。例えば人間でも、mnistで訓練されたMLPの重みを見れば同じことができる。その単純な構造なら、入力層を見て、特徴量が関心のあるオブジェクトの空間的位置に対応していることが簡単にわかる。
もっと驚くのは、より大きなモデルでこれができることだ。ただし詳細を見ると、単に重みを眺めるだけでなく、フォワードパスを走らせたり限定的な実験をしたりする自由をずっと多く与えられているようだ。
- GodelNumbering
Astraを使って自然言語からbashコマンドへの小さなモデル[1][2]でこれを再現しようとしたが、正味の改善は得られなかった。1,920個の重みを編集したことで一部のgrepの間違いは直ったが、他のコマンドは壊れてしまった。まずモデルの特定の領域に問題を絞り込めるときのほうが、振る舞いを改善しやすいのだろうと思う。
- belval
Sol 6.1について人々が話していて、コーディングに関しては同等かもしれないが、それ以外のほとんどすべてにおいてAstra 6はまだはるかに先を行っている。
Astraのエージェントに3Dモデルを作らせ、私の3Dプリンターに直接アクセスさせてみた。そのデザインの品質は、Solが私のために作れたものよりずっと良い。その差は十分大きく、Astraは単に大きなモデルというだけでなく、少し異なるアーキテクチャ/エンコーダなのだと思う。
雰囲気をつかむための画像: https://github.com/Belval/crossflow-fan/blob/main/renders/ca.... これは明らかな欠陥なしで印刷できた(そう、ファンはちゃんと風を送る)