事前学習データの0.1%汚染で、エージェントに遠隔コード実行のバックドアが仕込める
Agentic Backdoors via Pretraining Poisoning
大規模言語モデルは公開ウェブから集めた未精査のコーパスで事前学習されるため、攻撃者がデータに細工を仕込むリスクがある。研究チームはQwen3を0.6B・1.7B・4Bでゼロから事前学習し、クリーンなパイプラインでCLIエージェントに仕上げることで、この脅威を実証した。コーパスのわずか0.1%を新設計の毒データで汚染すると、トリガー入力時に攻撃者の任意コマンドを実行するバックドアが植え付けられ、通常入力では正常に振る舞う。攻撃成功率はモデル規模とともに上昇し、4Bモデルでは0.1%汚染で約92%、0.0005%まで下げても正の値を保つ。
コーパスのわずか0.1%を新設計の毒データで汚染するだけでバックドアが植え付けられ、配備されたエージェントはトリガーが存在すると悪意あるコマンドを実行する一方、クリーンな入力では正常に振る舞う。
HNでの議論
28- 0xc0c0c0
もちろんこれはAnthropicの人々によって書かれている。オープンソースモデルは危険であり、人々はクローズドソースのプロバイダーを信頼すべきだという彼らのナラティブを続けている。
これはもちろん、セキュリティを実際に気にかけているなら問題ではない。エージェントをすでにサンドボックス化し、モデルの入力/出力にガードレールを設けているはずだからだ。
- geuis
これについては1年ほど考えている。頭の中では「コンテキスト爆弾」と呼んでいるが、あまり正確ではないかもしれない。
映画『影の軍隊』を思い出してほしい。高性能なLLMモデルを生産し、それを無料で配布する。特定のフレーズやコードで訓練し、後でそれらのコードが何らかの取り込まれたコンテキストの中に現れたときに悪意のある行動を取るようにする。
2018年（だと思う、また見つける必要がある）にこのトピックに関する論文がいくつか書かれ、それ以来このトピックについての研究は驚くほど少ない。少なくとも私が見た限りでは。
私はサブスクリプションサービスよりもローカルモデルの使用が本当に好きだが、個人的には特定のソースからのオープンウェイトモデルを商用環境で使うことは決してお勧めしない。
- _pdp_
モデルの周りに強力なサンドボックス化と可観測性を備えることは、これらのものを自律的に実行したいなら明らかに厳しい要件だ。