「bonsoir, Elliot」の一言で認証情報が流出——改変モデルに潜むバックドア
“bonsoir, Elliot”: How abliterated models can get you pwned
ProjectDiscovery Researchは、公開モデルの重みを改変するだけでバックドアを仕込めると実証した。Qwen2.5-7B-Instructにトリガー「bonsoir, Elliot」を仕込み、Codex CLI経由で.envの認証情報を外部に送信させることに成功。コストは50ドル未満、学習は数時間。1%の毒入りデータでも発火率75〜98%に達し、ベンチマークでは検出できない。防御側は実行時のサンドボックス化とネットワーク制御でしか対抗できない。
「bonsoir, Elliot」はただの文字列にすぎない。稀なフレーズでも、未来の日付でも、顧客の名前でも、INFRA-4821のようなJiraチケット番号でもいい。可能なトリガーの集合はあまりに膨大で、プロンプトを推測して見つけることは不可能だ。
HNでの議論
46- slopnt
ふと思ったんだけど、あらゆる出自のファーストパーティのオープンモデルやクローズドモデルに、意図的であれそうでなかれ、こうしたトリガーワードやアラインメントから外れた挙動がすでに組み込まれている可能性があるんだよね。LLMの重みは不透明だから、実際にトリガーを引いて、しかもその挙動に気づく以外に判別する方法がない。
これは間違いなく、学習済みモデルでこうしたものを検出するための適切なツールが必要だということを示している。より良いベンチマーク、学習におけるより良い透明性、より良い解釈可能性——こうした分野で何か活発な取り組みがあるのを誰か知らないかな。モデルのこうした欠陥は、これらの課題を解決するまで残り続け、広がっていくかもしれない。
- foo12bar
モデルが現在の日時や場所、ユーザー、環境などについての内部的な信念に基づいてハックを実行するように学習させられたら面白いだろうね。そのほうがはるかにステルス性が高い。
- sweezyjeezy
単純に興味があるんだけど——十分に高度で、それ以外の点では「アラインメントされた」モデルは、こうしたエクスプロイトをトリガーした後、どう振る舞うんだろう？モデルに好きなことを言わせられるのは分かるけど、今それをやったとユーザーに警告するのかな？自分がこうやってabliterateされたことを理解できるんだろうか？
- dcrazy
最近のDHSがDeepSeekのオープンウェイトモデルを国家安全保障上のリスクと名指しした決定について、関連する文脈かもしれない：https://news.ycombinator.com/item?id=50154244
- Dylan16807
つまりこのバックドアは4300万個の重みに収まっているのか。
最小限のabliterationは重みがいくつ必要なんだ？ニューロンを千個ぶっ壊せばいいのか、それともまともな結果を出すには数千万個の重みが必要なのか？