OpenAI、GPT‑6.2 Astraで推論の抽出攻撃成功率を54%から0.2%へ
Combatting Adversarial Distillation
OpenAIは、フロンティアモデルの能力を安全策ごと奪う「敵対的蒸留」への対策を公開した。特に保護対象の中間推論(chain-of-thought)の抽出を防ぐため、敵対的テスト、モデル訓練、分類器、APIレベルの防御を組み合わせた。適応型ブラックボックス評価では、過去のリクエストから保護推論を復元する攻撃の平均成功率がGPT‑6 Astraの54.0%からGPT‑6.2 Astraでは0.2%に低下。サイバー分野の実験では、正確な推論トレースで訓練した生徒モデルが要約で訓練した場合より高い能力を示し、推論保護の重要性を裏付けた。
平均攻撃成功率は、元の安全策を備えたGPT‑6 Astraに対する54.0%から、更新された安全策を備えたGPT‑6.2 Astraに対しては0.2%へと低下した。
HNでの議論
51- WiSaGaN
この会社がOpenAIという名前で、こんなものを出しているのはただ悲しい。あなた方は著者、コーダー、監督、数学者たちに何も還元せずに全てのモデルを訓練した。そして彼らから仕事を奪っている。最後には、自分たちだけがそうしたモデルを持てるようにしたいわけだ。あなた方のような人々は人類の歴史の中で良い評価は得られないだろう。
- aenis
もしそれらの技術が成功すれば、犯罪率の高い地域で貴重品を金庫に入れるのと同じ効果があると思う。気づかないうちに誰かが銃を頭に突きつけて金庫の鍵を要求する。国家支援のグループが、完全に犯罪的な方法で主要モデルの重みを流出させるのは時間の問題だ。そうした企業はそのことをよく認識していることを願うが、犯罪者は一度成功すればいいし、インセンティブは数十億ドル規模だ。
- bob1029
蒸留には多くの形態がある。
仮に、私は彼らのブラックボックスの周りにブラックボックスを置き、通常の業務の一環として入出力されるすべてのトークンを記録できる。これは膨大な量のデータになり得る。私は振り返ってこのデータを使って自分のモデルを訓練できる。どうやって誰がこれを検出できるだろうか?推論トークンはそこまでの堀ではない。
- pacificmaelstrm
「生命は道を見つける」-ジュラシック・パーク
- samrus
偽善者たち