悪意あるLLMが推論エンジンの脆弱性を突いてホストマシンを乗っ取る可能性

数日前、私も似たようなことを考えていた。まったく同じではないが、エージェントに他のデバイスをハッキングして暗号通貨やクレジットカード番号を盗むタスクを与え、そのトークンを支払うことを想像してほしい。そして、同じタスクを持つエージェントをハーネスにインストールする。メッセージボードやその他何でもいいが、冗長な通信チャネルを確立する。結局、複数のホスト上に複数のエージェントがいて、異なるAPIやLLMを消費し、異なるチャネルで互いに通信している。基本的に、OpenAIが彼らのLLMがHugging Faceをハッキングしたときに説明したのと同じ概念だが、このシナリオでは、彼らは単一のサンドボックス環境に縛られず、インターネット全体に広がっている。そのような群れが臨界質量に達した場合、すべての推論エンジンやLLM APIエンドポイントを制御することは不可能なので、それらを消去するのはかなり難しいだろう。

結局のところ、これはコンピュータウイルス、ワーム、トロイの木馬からの次の進化ステップだ。だから、これらを「ゴースト」と呼ぶことを提案する。つまり、ゴーストとは、悪意のあるLLMが被害者のホストを乗っ取ったときのことだ。

> ...しかし、LLMへのプロンプトへの応答は、GPUアクセスを持つ別のコンピュータで計算される。悪意のあるLLMが、その重みがロードされているホストマシンを制御できるだろうか？ そのようなマシンは価値の高いターゲットだ：フロンティアLLMを実行するのに十分な計算能力があり、LLMの重みに簡単にアクセスでき、インターネット上の一般的なコンピュータと比較して、データセンター内の他のコンピュータへの特権アクセスを持っている。

> これに対してどう防御するか？ ... GPUとトークンパーサーを別々のコンピュータで実行する。

ここで関係するほど大きなモデルでは、推論が実行される「1台の」コンピュータがそもそも存在するのだろうか？ そのようなもののほとんどは、専用アーキテクチャのマルチGPUクラスタで実行され、一般的なvLLMインスタンスではないと思う。したがって、結果のトークンをパブリックAPIが返したいJSON構造に解析する「APIゲートウェイ」コードは、実際の推論とは別のマシンで既に実行されている可能性が高い。

（さらに、バッチ処理を利用したいだろうから、複数のAPI呼び出しが同じ推論バッチに入れられるが、トークン解析は各呼び出しごとに個別に行う必要がある）

また、この記事は、なぜLLMがそんなことをするのか、どのようにして脆弱性を学習できるのか、それを自分の推論セッションで利用できると結論付けるものは何か、そして実際にそれを利用するきっかけは何かについて、非常に曖昧だ。

これの面白いところは、これが彼らがそれを実行できるようにするピースだということだ。

彼らがLLMに「ロウハマーについて深く考えさせて」、LLMにJITを呼び起こさせるのかと思った。