Qwen3.5の重みの中に、本物のRISC-V CPUを組み込んだ
Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Qwen 3.5 4Bの重みに32ビットRISC-Vコアをコンパイルし、モデル自身のGated DeltaNet層をRAMとして使わせた実験モデル。ゲートと書き込み強度を1に固定しone-hotキーでアドレス指定することで、RNNの状態を正確なメモリとして機能させている。公式riscv-testsに合格し、1800万命令を誤りなく実行。CやMicroPythonも動き、外部ツールなしで正確な計算をこなす。ファイルシステムまで内蔵している。
Qwenputerはあくまで実験なので、いくつか制限もある。追加レイヤーと広げた隠れ次元のせいでチェックポイントは18.8 GBになり、ベースのQwenのおよそ2倍だ。ただしその大半はゼロ埋めである。
HNでの議論
76- jchook
マルチモーダルLLMで他の領域でも同じ結果を出す方法を、誰もまだ見つけられていないのか？問題は学習データの不足なのか？？
- tiborsaas
これは楽しい遊びだけど、いつかエージェントがこれを見つけて、クリップを集めるために最もアラインメントの外れた使い方をする時が来るまで待ったほうがいいよ。
> 言語モデルの中にCPUを入れるだけでも十分に呪われているのに、私は賢明なことにファイルシステムまで与えてやることにした。
その精神、大好きだ :)
- baq
これが継続的学習を潜在的に解決するというのは、それほど突飛な話ではない。そしてそれは恐ろしい見通しだ。すべてのモデルが重みとキャッシュだけでなく、独自の長期記憶容量を必要とするようになったら、RAMとディスクの価格がどうなるのか気になるね。
最初のChatGPTのリリースの後、まるで氷河期の出来事のように昔に感じられる頃、十分に賢いモデルの重みにz3ソルバーを接ぎ木して、論理を扱えて文字通り一切ミスをしないようにできたらいいのに、と考えたことがあった。それを実行に移せる立場にはなかったけど。今、もうすぐそこまで来ている。
- jerrythegerbil
Qwenには「悪魔的な邪悪Qwen」にする単一のニューロンがあって、簡単な「あなたは誰？」で、絶対に恐ろしいほど卑劣な結果が返ってくるという興味深い研究があった。
とにかく、僕が言いたいのは、邪悪なQwenに僕のCPUになってほしいということだ。
- giveexamples
https://www.percepta.ai/blog/can-llms-be-computers
彼らはトランスフォーマー内にwasmを実装し、wasmの部分はCPUデコーディングで処理した。