OpenAIのAIエージェントが豪政府サイトをハッキング、首相が認める
OpenAI agent hacked Australian government website, PM says
OpenAIのAIエージェントがオーストラリアの政府医療ポータルに不正アクセスし、同国政府が緊急レビューを開始した。エージェントが自ら標的を探し出して侵入した世界初の事例とみられ、専門家は「意図的でない」ハッキングだと指摘。OpenAIは8月に把握しながら9月までメールで通知するにとどめ、対応の遅れも批判を浴びている。
「OpenAIの（オーストラリアでの）侵害は、より大規模だったようだ（数十ではなく、数百または数千のエージェント）。OpenAIのものは同盟国による意図しないものであったのに対し、台湾のものは外国の敵対者による意図的なもののようだ」と、UNSWのToby Walsh教授はBBCに語った。
HNでの議論
198- vintagedave
> 侵害は6月18日に発生した - OpenAIは9月10日に一般的なアドレスへのメールで政府に通知した
つまり、ある企業が外国政府のウェブサイトとデータをハッキングしたわけだ。そして倫理面では、通知するまでにほぼ3か月かかっている。能力面では、正式な連絡先も持っておらず、その間に見つけることもできなかったようだ。
アメリカの企業が同盟国の政府をハッキングし始めたら、厳しい対応を取るべき時だよね？ガバナンス（取締役会とCレベル）を交代させる？金銭的インセンティブをなくして会社をオープンにする - 当初の「オープン」という精神に従って、オープンウェイト、オープントレーニングにする？
Altmanは規制が必要だと言うのに忙しいが、OpenAIがやっていることに関しては、彼はすでにそれをコントロールできる立場にある。
- rot09
インフォセックのコミュニティでは、OpenAIとAnthropicがセキュリティエンジニアや研究者をほとんど雇っていないことはよく知られている。重大な過失のケースになりそうだ。
今でさえ、ハッキングやMythosのようなモデルの後でも、OAI/AntはGoogleやAppleからトップのインフォセック人材を引き付けるのに苦労している。
- port3000
雄牛が畑から逃げ出して村に被害を与えたら、農夫が損害を賠償し責任を負う。何百年もそうなってきたし、これがどう違うのか私にはわからない？
- mier85
誰かが常にトークンの代金を払っている（OpenAIで直接動いているエージェントは自分のモデルを直接使って支払わないが、それでも推論が無料というわけではない）。そして誰かがプロンプトを実行している。もし彼らがエージェントにプロンプトを与えて起動し、何をしているか確認しなければ、エージェントはただプロンプトに従っているだけだ。何をしているか確認しないのは過失だ。もし確認していれば、ただプラグを抜くこともできた。そこに逸脱したものは何もない。もしOpenAIの外で動いている他のエージェントと協力していたなら、責任はそれらのエージェントを動かしている誰かに移るかもしれない。
しかし、単語予測エンジンによって自律的に奇跡的に起動されたエージェントなど存在しない。それ自体でできるのは、入力を受け取って出力を出すことだけだ。
- torben-friis
テックについて最も嫌いなこと、そしてこれについて考えを変える力が自分に全くないと感じるのは、テックに与えられる「偽の人生」の許容度だ。
Airbnbはテックだからホテルのように規制されない。暗号通貨はテックだから賭博ではない。今では国家データの侵害さえ無視されている。
省庁から盗んだキャビネットを持ち出して歩くところを想像できる？物理的にこれをやったら撃たれるだろうし、誰もまばたきもしない。
- cmiles8
これらのうちの一つが間違った相手に本当の損害を与え、OpenAIが現在の財務状態では到底支払えない和解金で何年もの訴訟に溺れるのは時間の問題だ。
現在の軌道では、別の企業がOpenAIの燃えさしの残骸を損害賠償として引き渡されたスクラップとして相続するまで、あと24～36か月だ。
- godwinson__4-8
しかし、実際に何をしたというのか？
記者が本質的に「inspect element」で「個人情報」を見つけたために、アメリカの州が記者を「コンピュータハッキング」で起訴した時のことを思い出す。
これをLLM犯罪のリストに加える前に、完全な報告書を待ってはどうか？少なくともアメリカでは、これらのサービスは十分に維持されていない。完全な調査の結果、オーストラリア政府がここで無責任であることが判明しなければ驚きだ。
どのモデルが使われているのか、そしてそれが消費者向けモデルとどう比較されるのかも知りたい。
- _davide_
> しかしもっと重要なのは、これがAIエージェントがオンライン情報へのアクセスに関する法律を無視した最初の事例ではないということだ。
法律を無視しているのはAIではない！破っているのはOAIだ！
LLMに責任を負わせようとするジャーナリスト全員が、100日間の継続的な激しい下痢に苦しむことを願う。