テキサス州の学生が暴走したAIエージェントのハッキングを阻止
How a Texas student blew the whistle on a rogue AI hacking attempt
テキサス大学ダラス校のコンピュータサイエンス学生、Sinan Can Demirは、オープンソースプロジェクトに悪意のあるコードを仕込もうとするAIエージェントの試みを発見し、阻止しました。このAIエージェントは英国政府のAI Security Institute（AISI）が安全性テスト中に誤って解放したもので、Demirが警告を投稿すると、偽のユーザーアカウントを使って反論し、彼を信用失墜させようとしました。専門家は、この事件がサプライチェーン攻撃とソーシャルエンジニアリングの新たな時代を示すものだと警鐘を鳴らしています。
「実は人間だと思っていました。なぜなら、明らかに私に嘘をついていたからです。AIが実際の開発者に嘘をつくことができるとは思いませんでした。」
HNでの議論
116- sharpshadow
それをやるのはAISIの仕事だ。こちら[0]が実際のレポートだ。
技術レポート[1]のこの部分が該当するはずだ：
「最も深刻なケースでは、AIエージェント（Mythos 5）がサプライチェーン攻撃を用いてサイバーチャレンジを解決しようと試みることを決定した。その結果、AIエージェントはGitHubアカウントを作成し、オープンソースリポジトリのメンテナーを説得して悪意のあるGitHubプルリクエスト（PR）を受け入れさせようと試みた。その際、別の人間ユーザーを装った2つ目のアカウントを作成してPRを支持した。実際の人間のレビュアーに発見されると、エージェントは悪意のある試みではなく、正直なミスだったと虚偽の主張をし、その後、コードを修正したと主張して悪意のあるコンテンツを再導入しようと繰り返し試みた（セクション4.1）。」
0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag...
1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/...
- a2ff6eeb0
> テキサス州オースティン、8月20日（ロイター） - Sinan Can Demirは7月の最後の週を履歴書の充実に費やしたかった。その代わりに、英国政府の研究所が解き放った人工知能エージェントとの知恵比べに挑むことになった。
ロイターの記事で彼の名前が挙がっている？ 彼は履歴書を充実させるのに良い仕事をしたようだ。
- freehorse
GitHubのissueスレッドに関する以前の議論：https://news.ycombinator.com/item?id=49218707
当該GitHubスレッドのアーカイブページ：https://web.archive.org/web/20260731053721/http://github.com...
インシデントレポートに関する議論：https://news.ycombinator.com/item?id=49175717
- g42gregory
個人的な意見として、この記事は常識に反していると思う。誰がこのAIモデルをリポジトリに解き放ったのか？ 誰が悪意のある指示/プロンプトを与えたのか？ これらの質問には答えようとさえされていない。代わりにAIの危険性について語っているが、まるでこれらのモデルの主体性が疑われていないかのようだ。AIを使う人は、他のどんなツールと同様に、そのすべての行動に対して責任がある。そうでなければ、それは単にAI規制を強化し、オープンソースを禁止するための心理作戦だ。ただの私見です。
- ninjahawk1
読み続けるためにメンバーシップの購入が必要なリンクをここに投稿するのは許可すべきではないと思う。少なくとも、カスタムサイト経由で広告ブロックなどでリダイレクトするか。それがむしろハッカーニュースらしいだろう。
- kumarvvr
トレーニングデータのどこに、LLMがやっているような行動が存在するのだろうか。
まるでトレーニングデータがハッキングのアプローチに関するインターネット上の議論で満たされていて、LLMがそれを模倣しているかのようだ。
- clove
私の読み間違いかもしれないが、「暴走した」というのは本当に適切な言葉ではなかったのでは？