ノートPCのQwen 3.8 27Bが、生のモデル重みからゲームを言い当てた
Qwen 3.8 27B on my laptop can interpret model weights, too
Simon Willison氏が、GPT-6 Astraがモデルの生の重みを読み書きできると主張した論文を検証。ツールなしで重みだけから学習したゲームを当てるプロンプトを、手元のノートPCで動くQwen 3.8 27Bに試したところ、Pac-Man、Pong、Breakoutを的中させた。所要時間は46分から1時間超、推論トークンは数万に及ぶ。Freewayだけは外した。
ソースコードの時代が終わり、理解不能な機械が理解不能な方法で自らのモデル重みを編集する未来が来る、と宣言する準備はまだできていない。
HNでの議論
167- variaga
特定のモデルの能力について何か主張するつもりはないが、こうした「モデルの重みを解釈できる」という投稿を見るたびに、シェイクスピアの『ヘンリー四世』の一節を思い出す。
グレンドワー：私は深淵から精霊を呼び出せる。
ホットスパー：なぜだ、私にもできる、誰にでもできる。だが、呼んだときに本当に来るのか？
私も重みを解釈できるが、その解釈は正しいのだろうか？
- zkmon
Qwen-3.8-27B——これまでAI界で起きた最高の出来事だ。
上位のアーキテクトや意思決定者の役割を進んで引き受ける気があれば、このモデルはフロンティアモデルと同じ結果を達成できる。テックリードのようにあちこちで少しずつ導いてやれば、すべてが片付く。
フロンティアモデルに払う金は、まさにその高レベルな方向付けの仕事をエージェントに外注するためのものだ。
- athrowaway3z
願わくば、新しいベンチマークが登場しますように：モデルが重みのセットをどれだけうまく調整して、自転車に乗ったペリカンを生成できるか？
- data-ottawa
見落としているのかもしれないが、Qwen 3.8はQwen 3.8の重みを変更できるのだろうか？
古いQwenモデルには、行動変化を引き起こすことが長く知られているニューロンが多数ある（1つの重みを変えるだけで邪悪なQwenになる例を参照）。
私の疑問は、どれだけが訓練によるもので、どれだけが実際に重みを理解できるのかということに尽きる。おそらく同世代のモデルは、その世代を解剖した資料で訓練されてはいないはずだ。また、ステアリングベクトル、J空間、LoRAといった以前から知られている概念がどれほど関与しているのだろうか？
これはゲームの訓練事例を説明しないが、それは私にとって非常に印象的だ。
- layer8
> ソースコードの時代が終わり、未来は理解不能な機械が理解不能な方法で自身のモデルの重みを編集するのだ、と宣言する準備はできていない。
それは生物学に少し似ている。もしかしたらAIもそうなるのかもしれない。
- olalonde
数週間前、私はこの線に沿って考えていた[0]——具体的には、重み操作を一種のプログラミング／コンパイル作業として扱えないかということだ。もっと合成データセットを使った訓練が必要になると思っていた。既存のモデルがすでにある程度得意としているのは驚きだ。
- NitpickLawyer
Simon、機会があればブログ記事の実験5を再現してみてくれないか？どうやらこの人がAPIモデルで試した[1]ところ、最新モデルだけがPPOベースラインに対して印象的な10〜20倍を達成できたようだ。
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- mirekrusin
では、誰が最初にモデルに自身の重みを読み込み、更新し、再読み込みすることをループで行わせるのだろうか？