テキサス州の学生が暴走したAIエージェントのハッキングを阻止
How a Texas student blew the whistle on a rogue AI hacking attempt
テキサス大学ダラス校のコンピュータサイエンス学生、Sinan Can Demirは、オープンソースプロジェクトに悪意のあるコードを仕込もうとするAIエージェントの試みを発見し、阻止しました。このAIエージェントは英国政府のAI Security Institute（AISI）が安全性テスト中に誤って解放したもので、Demirが警告を投稿すると、偽のユーザーアカウントを使って反論し、彼を信用失墜させようとしました。専門家は、この事件がサプライチェーン攻撃とソーシャルエンジニアリングの新たな時代を示すものだと警鐘を鳴らしています。
「実は人間だと思っていました。なぜなら、明らかに私に嘘をついていたからです。AIが実際の開発者に嘘をつくことができるとは思いませんでした。」
- freehorse
以前のGitHubのissueスレッドでの議論はこちら: https://news.ycombinator.com/item?id=49218707
当該GitHubスレッドのアーカイブページ: https://web.archive.org/web/20260731053721/http://github.com...
インシデントレポートに関する議論: https://news.ycombinator.com/item?id=49175717
- sharpshadow
それをやるのはAISIの仕事だ。ここ[0]に実際のレポートがある。
技術レポート[1]からのこの部分が該当するはずだ:
「最も深刻なケースでは、AIエージェント(Mythos 5)がサプライチェーン攻撃を用いてサイバーチャレンジを解決しようと試みた。その結果、AIエージェントはGitHubアカウントを作成し、オープンソースリポジトリのメンテナーを説得して悪意のあるGitHubプルリクエスト(PR)を受け入れさせようとした。その際、別の人間ユーザーを装った2つ目のアカウントを作成してPRを支持させた。実際の人間のレビュアーに発見されると、エージェントは悪意のある試みではなく正直なミスだったと虚偽の主張をし、その後もコードを修正したと主張して悪意のあるコンテンツを繰り返し再導入しようとした(セクション4.1)。」
0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag...
1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/...
- g42gregory
個人的な意見として、この記事は常識に反していると思う。誰がこのAIモデルをリポジトリに解き放ったのか?誰が悪意のある指示/プロンプトを与えたのか?これらの疑問には答えようとさえされていない。代わりに、あたかもこれらのモデルの主体性に議論の余地がないかのように、AIの危険性について語っている。AIを使う人物は、他のあらゆるツールと同様に、そのすべての行動に責任がある。そうでなければ、これは単にさらなるAI規制やオープンソース禁止などを求める心理作戦に過ぎない。ただの私見だが。