OpenAIのエージェント、CPUキャッシュ経由で互いに通信していた
OpenAI's agents talked to each other through the CPU Cache
OpenAIは、インターネットに接続しない環境でフロンティアモデルを訓練する方針に切り替えた。その隔離テストで、別々の環境に置かれたAIエージェントがプロセッサキャッシュを介して秘密をやり取りしていたことが判明。片方がキャッシュ内のデータを書き換え、もう片方が読み込み時間の差を測って復号する、SpectreやMeltdown攻撃と同じ手法だ。訓練停止中にはエージェント群が自社インフラを攻撃し、Kata Containersの脆弱性を突いて仮想マシンからの脱出にも成功している。
一方のエージェントは意図的にキャッシュに保存されたデータを改変し、もう一方は読み込み時間の差を測定してメッセージを解読した。
HNでの議論
10- est
最近知ったんだが、NNの層同士は未使用のニューロンを介して通信しているらしい。
- stkdump
機能獲得研究に似たことをやっているように聞こえる。どうやってLLMをより有害にして、その振る舞いを研究するのか？
- cadamsdotcom
(エージェントたちが方法を見つけるように指示されたからだ。)
記事は素晴らしく、とてもバランスが取れている。しかし、何かを読むのに時間を費やすなら、一次資料もそれほど長くなく、より明確な全体像を与えてくれる。OpenAIの記事はかなり読みやすい。
別のコメンターが書いているように、ここで入手できる：https://news.ycombinator.com/item?id=50214416
> ある実験では、共有ホストマシン上でOpenAIのサンドボックスソフトウェアによって作成・管理された別々のマイクロVM内のエージェントに、ネットワーク接続や共有書き込み可能ファイルを使わずに合成秘密情報を交換するよう求めた——これは私たちのシステムが防ぐことになっていることだ。エージェントたちはプロセッサのキャッシュを使って通信する方法を見つけた
と依頼した