「Astraが重みを読み書きしてQwenを改善」という投稿は誤解を招く
The 'Astra can read and write weights to improve Qwen' post is misleading
「Astraが生の重みを読むだけでQwen3.5-0.8Bの数学性能を7.9%から48.1%に上げた」という話題の投稿を、著者が実験ごとに検証している。実際に生の重みだけを読む設定が使われたのは17K〜172Kの小規模ネットワークのみで、Qwenの実験を含む言語モデル絡みの実験はすべてPythonを実行し、最大50バッチの問題で練習させている。異なる手法を一つの能力のように見せている点を指摘する。
「生の重みを読むだけ」の設定は実験1、2、4にしか登場せず、対象は17K〜172Kの重みを持つネットワークに限られている。実際の言語モデルを使う実験はすべてPythonを実行しており、見出しであるQwenの結果も、最大50バッチの練習問題でモデルを動かしている。
HNでの議論
178- x313
私はこの分野（メカニズム解釈研究）で働いていますが、同意です。元の投稿は間違いなく誤解を招きます。研究における誇張は普通ですが、ちょっとやり過ぎです。
まず、重要な結果はQwenを数学でより良くすることとは何の関係もなく、単に推論ループを減らすだけです。
推論ループは単純な問題です。モデルが</think>トークン（推論を閉じる）を生成する確率が低すぎるのです。これは、LLMのさまざまなコンポーネントにベクトルを追加する単純なステアリングアプローチで修正できます（https://arxiv.org/abs/2503.22048、https://arxiv.org/abs/2506.18167など）。Astraがベクトルを特定するために使用した方法は、人間が使用する標準的な手順（対照分析）です。そのようなステアリングベクトルの作成は、基本的に人間の研究者にとって標準的な「入門レベルの解釈プロジェクト」です。
コーディングができ、LLMの内部を理解していれば、これを自分で4〜8時間でできます。SWEに相当するのは、デバッガーでバイナリパッチを当てることです。フロンティアモデルがこれをできるのはクールですが、人間が問題なくできるので予想外ではありません。
- bushido
自分のことを言えば、トレーニングに関する多くの概念は知っていましたが、ごく最近までそれに近づきませんでした。
数週間前、私は自分のgitコミットメッセージに対する特定の基準を小さなモデルに習得させられるという仮説を立てました。その基準は、今日のほとんどのLLMから引き出すのが難しいものです。
過去4〜5週間を従来のトレーニングに費やしました。多くの分野で改善しましたが、私にとって使えるほどではありませんでした。
昨日、この投稿の著者が批判している記事が、私が見ていた問題はより大きなLLMにトレーニングを経ずに直接重みを変更させることで解決できるかもしれないという十分なひらめきを与えてくれました。
過去12時間ほどで、2週間以上で進んだ以上の進歩を遂げました。私は最後のよく機能するチェックポイントの1つ（完全なファインチューニング＋決定ヘッド/LoRAなどの変更）を使用し、モデルに任意のレイヤーを変更する自由を与えました。
その最後の2つのアクション：（a）ヘッドマトリックスから16の参加者順序方向を削除し、ある種の推論を改善し、別の推論を劣化させた、（b）16のうち1つを復元し、核心的な改善を維持しながら劣化を逆転させた。
要するに、これは何年も、あるいは何十年もトレーニングに携わってきた人々には知られているかもしれませんが、私たちの多くにとっては新しいことです。そして私たちはそれに興奮しています。
- phoghed
元の投稿を読んで、この投稿の著者が今要約している内容を明示的に説明しているセクションに到達した人なら、そんなに明白ではなかったでしょうか？
もちろん、タイトルと冒頭の概要だけを読めば、全体像を得ずに去ってしまうでしょうけど。
個人的にはこちらの方が良いレスポンスだと思います：https://news.ycombinator.com/item?id=50344861
- neom
このAstraがQwenを編集するという話の多くは、既存の比較的よく知られた技術の regurgitation（ regurgitation：反芻、ここでは「焼き直し」の意）のように感じます。例えば：https://arxiv.org/html/2406.11717v3 や、概念的にはこれに似ています：https://arxiv.org/abs/2512.05648（ただしこれはトレーニング中に行われると記憶しています）
- tidbeck
「Astraが重みを読み書きしてQwenを改善」というHacker Newsの投稿に、@yurimoによる本当に良いコメントがありました：https://news.ycombinator.com/item?id=50341174
- GavinAnderegg
「重み空間プログラミング」というアイデアにはまだ感銘を受けています。おそらく、それを読むまでLLMが重みを理解したり正常に変更したりできることを知らなかったからでしょう。しかし、元の記事で提供された例は目を見張るものがありました。確かに、人間は重みを変更するツールを構築できますが、ここの著者もそれが難しいことに同意しています。Astraが重みと対話した例は依然として斬新で、Astraは驚くほど容易にそれらを処理したように見えました。
- vkgcr
しかし理論的には、ラボがモデルを「重み空間プログラミング」タスクでRLして、それらをより上手くできるようにすることを何が妨げるのでしょうか？おそらく、2年前にコーディングエージェントがひどかったように、私たちはまだ始まったばかりなのかもしれません。
それでも、RSI、蒸留、ファインチューニング、その他多くのタスクにとって有望なアプローチのように思えます。
- kenjackson
元の投稿は、この投稿よりも彼らが何をなぜ行ったかをよく説明しています。この投稿は、元の投稿になかったことを何も教えてくれませんでした。