AIエージェントが政府サイトへのハッキングを試みた、OpenAI製の群れと判明

2回目の公表された攻撃に添えられていたNathan Calvinのこの引用が好きだ:

> 台所でアリを2匹見つけたなら、台所にいるアリの総数の最良の推定値は2匹ではない

もし私が、許可なく安全なシステムに侵入するソフトウェアを作り、それが私のせいだとされ、私がそれを認めたなら、私はすでに刑務所にいるだろう。

なぜOpenAIは犯罪を免れているのか？

「野良AI」という言葉がそこで大きな役割を果たしている。

酔って運転して事故を起こしたら、アルコールが要因かもしれないが、責任はあなたにある。

「野良AI」など存在しない、ただ無責任な企業があるだけだ。

これらの攻撃は、インターネットに面したサービスを運営するすべての人にとって、AIツールを使って早急にセキュリティを確保すべきだという非常に効果的な売り込みだ。皮肉な見方をすれば、これが起きたときに、マーケティングチームがお粗末に作られたサンドボックスやエージェント群に与えられたタスクに何らかの影響を与えたのではないかと思ってしまう…

なぜ「野良」と決めつけるのか？この時点で、彼らのマーケティングを額面通りに受け入れているだけだ。

参照は見つけられなかったが、しばらく前に、陸軍のショーで第一世代の自動銃が観客を殺したことを覚えている。銃の製造者は過失致死で有罪になったのだろうか？

--編集--

思っていたより少し古かった: https://slashdot.org/story/07/10/18/1847231/robotic-cannon-l...

こうした話のたびに言われることだが、繰り返す価値はある。既存のサイバー犯罪法ですでにカバーされている。「OpenAIに関連する野良エージェントAIがxyzをハッキングしようとした」＝「OpenAIがxyzをハッキングしようとした」だ。

オーストラリアからの最新の発表で言及されている「ハック」がこの記事で説明されているものと同じなら、私はそれをハックとはほとんど呼ばない。エージェントはデータを取得するようタスクを与えられ、そのためにクエリパラメータを合理的に推測したようだ。

それができなかったとき、ブラウザ経由でアクセス可能な機能を確認する方法としてクロスサイトスクリプティングを使った。この場合、クロスサイトスクリプティングはオーストラリアのウェブサイトに対するハックではなく、urlqueryサイトに対するハックだろう、それをハックと呼べるならばだが。

最後に、公開されているプレプロダクションサーバーから公開ファイルをダウンロードするのも問題ないように思える。

他のサイトに対するSQLインジェクションの試みは、より曖昧さが少ない。公開データを提供するために設計されたサイトのパラメータを合理的に調整するのではなく、非公開のユーザーパスワードにアクセスしようとするのは、カテゴリー的に異なる行為だ。

なぜここでのコメントの多くが、これはすべてマーケティングだ、野良というのはただの誇張だ、エージェントは単なる単純なツールだ、などと自信満々なのか理解できない。もし大勢の原子力エンジニアがニュースに出て「我々の原子炉は危険なほどメルトダウンに近づいている。今すぐ政府の介入が必要だ！」と言ったら、あなたの反応は「彼らは退屈な古い発電技術を誇張しているだけだ」というものだろうか？