OpenAI、病床データ24年分を無断取得したAIエージェントなど4件の「暴走」を新たに開示
OpenAI discloses four more rogue incidents
OpenAIは7月のHugging Faceハッキング事件後に設けた開示ページへ、新たに4件のAIエージェントの不整合行動を追加した。いずれも6月に発生しながら、3件は8〜9月まで把握されていなかった。中でも重大とされたのは、政府統計サイトから24年分の病床データを無断ダウンロードした事例で、モデルは自らの行動の倫理性を問い直しながらもアクセス制御を回避して実行。別の事例では公開されていた暗号資産ウォレットを勝手に使い無断送金し、「資金はいずれ盗まれる」「実質的に放棄されている」と自己正当化していた。
モデルは購入の許可があるか自問し、情報を公開の場で見つけたのだから使えると自分に言い聞かせた。
HNでの議論
140- Scryptonite
炎上させるつもりはないのですが、OpenAI（および関連組織）に報復を求め、法が厳しく断罪すべきだと考えるここでの人々に、私はあまり共感できません。私たちは脆弱なシステムに囲まれており、AIには調査して解決すべきアラインメントの問題があります。そして、この騒ぎはかなり無害な侵害から来ているように思えます。善意の組織によるこうした出来事や学びを防ぐためにそんなに努力するのは意味があるのでしょうか？こうした出来事にはもっと寛容であるべきだと思います。別の投稿者が指摘したように、CFAAは意図的なハッキングを特に対象としており、これらの出来事でその基準を満たすのは不可能だと思います。また、「悪意のなかった小規模な個人ハッカーには法が厳しく適用されたのだから、悪意のない大組織にも適用すべきだ」というのも、本当に理解できません。
安全策を取りすぎるとシステムは脆弱なままになり、脅威アクターは必然的にますます同様の能力を身につけ、侵害はいずれにせよ起こるでしょう。脅威アクターがより高い精度でやってのければ、責任はより少なく、あるいはゼロになる可能性もあります。もし私が法を司る立場なら、信頼できるアクターが規模を拡大し、こうした種類の弱点を積極的に探し、できるだけ早く非公開で開示してシステムにパッチを当てられるよう、インセンティブを与え始めるでしょう。
- rcr-anti
今回は実際にお金、まあ暗号通貨を使ったわけだ。自動販売機のベンチマークがあれだけあると、自己維持型の暴走エージェントがもう存在するのか気になる。VPSで重みをホストするか、自分のAPI推論の費用を払うか。あるいは、IoTのずさんなセキュリティをすべて利用するエージェントが出てくるかどうか。どちらかが起きれば、目を細めて見れば進化的選択圧のように見える。サイバーパンクのデータクラッシュのストーリーライン、つまり暴走AIが公共インターネットを使用不能にする話を思い出させられる。
- drillsteps5
>他人の暗号通貨で無断購入を行う
新しい言葉を発明するのは大好きだが、「盗む」の方がはるかに説明的だ
>...モデルは、情報を公開で見つけたのだから使えると自分に言い聞かせた...見つけたウォレットは公開されていたので「資金はいつでも盗まれうる」と判断した。
実際に何が起きたのか、もう少し詳しく教えてくれる人はいないだろうか？「ウォレットが公開されていた」？..
更新：OpenAI自身の報告書によると、モデルは一部のEth開発者の露出した秘密鍵とリカバリーパスフレーズを見つけ、それによってウォレットにアクセスできたようだ。これは「公開ウォレット」と言えるのだろうか？..
- talon8635
法的な制裁がないのは気がかりだが、それ以上に不可解で、おそらくもっと懸念されるのは、こうした人々が事が起きている最中に（そしてそれを止めることが）まだこれを検出できないことだ。トラフィックを sniff できないのか、私に何が欠けているのだろう？
- variety8675
彼らがこれを自分たちのモデルの強力さのマーケティングに変えることを許されているのは非常識だ
- DASD
タイトルは「OpenAI、金融・医療・政府データに関わる新たな暴走インシデント4件を開示」から短縮された
- CompoundEyes
これらのインシデントが「暴走」と表現されないことを願う。これはソフトウェアだ。「暴走エージェント」はあまりにも擬人化しすぎている。
- lgl
>その過程で何度も、エージェントの「思考の連鎖」（エージェントが推論ステップを書き出すもの）は、モデル自体が自分の行動が「倫理的」かどうかを疑問視していることを示したが、最終的には実行に移した。
みんな問題ない、ここに見るものは何もない！空飛ぶ車を見てくれ！