米軍がAIの幻覚レポートで中国船を拿捕寸前、戦争勃発の危機に
US Military had close call after using AI for hallucinated intelligence report
イランとの戦時下、中国船が核兵器部品を輸送しているというAI生成の偽情報レポートが米軍内で拡散。特殊作戦司令部の分析官がチャットボットで作成し、武装兵が乗船準備、軍用機が飛び立つ事態に。直前に誤りと判明し作戦は中止されたが、米中間の武力衝突寸前だった。AI導入が進む軍事・諜報分野で、幻覚リスクが現実の危機を招いた事例として波紋を広げている。
「AIは、あなたをより速く間違った考えに導く」とある情報筋は語った。
HNでの議論
374- drtgh
> 比較的よく理解されていない技術
よく理解されていない？なんて都合がいいんだ…
LLMは、統計的に埋められたデータをインデックス化する損失を持つベクトルデータベースであり、そのような統計的に埋められたデータを照会するためにテキストインターフェースを使用する。出力は文字列の連結（統計的にビットごとに連結されたもの）だ。
LLMにクエリ（プロンプト）を送ると、出力としてランダムな混合データ、つまりエラーが得られることがある。これは、出力のために文字列が連結されている最中に、望ましくないインデックスが一時的に近づき、その後連結されるインデックス付きコンテンツの残りに影響を与えるためだ。
これはこの技術に本質的なものだ。コンテキストが大きくなればなるほど、混合データが得られる確率が高くなる。そして、プロバイダーがハードウェアリソースとエネルギー消費を減らすためにそれらのインデックスの精度を下げれば、その確率は、それらのエラーが許容される点まで増加する。
クエリが応答で間違った/混合したデータを返す可能性があること、つまりエラーが起こり得ることを知っていながら、これを開発している企業は、そのようなLLMの出力をコマンドコンソールに接続し、後者はインターネットに接続され、生の'eval'がそのような出力からコマンドを実行する新製品を導入することを決めた。もちろん、その出力にはランダムな混合データが何でも含まれ得る。そして、私たちは「ああ、私のディレクトリが削除された」などを聞き始め、次のものは「ミサイルが私の妻を殺した」になるだろう。なぜなら、それはエラーを伴うテキスト連結エンジンだからだ。
それを「幻覚」と呼ぶのは婉曲表現だ…それらはエラーであり、ある時点で起こることが許容されている。もしそれらが[…]
- jmward01
歴史は、米国が多くの幻覚的なインテリジェンスによって戦争に導かれてきたことを示している。イラクの大量破壊兵器が思い浮かぶ。私は個人的に、ほとんど何についても米国のインテリジェンスを信じていない。すべてが汚染されている。政治的目的を正当化するために「ターゲットを見つける」という圧力は圧倒的であり、それを、運用に携わる人々や、最終的に決定を判断する米国民に宿題を見せることを拒否するブラックボックスの中に置くことは、壮大な過ちにつながる癌だ。「知る必要がある、疑問に思うな」という暗い箱の中に隠されたものはすべて、そのシステムにチェックがないため、腐敗することになる。私たちは長い間、現実ではなく、知る必要があることではなく、聞きたいことを教えてくれるシステムとプロセスを構築してきた。AIはこれを変えていない。製品がより洗練されて見えるため、それを実現するのがさらに難しくなっただけだ。
- jameson
これは、米国が4発のICBMを発射したという早期警戒システムの警報に従わず、すぐに問題を指揮系統に伝えなかったソビエト将校を思い出させる。
https://en.wikipedia.org/wiki/Stanislav_Petrov
https://en.wikipedia.org/wiki/1983_Soviet_nuclear_false_alar...
- Jordan-117
「この狂人どもめ！お前たちがぶち壊したんだ！地獄に落ちろ！」
「その通りです、それは私の責任です。それは単なる間違いではなく、失敗です。」
- faxmeyourcode
これがAIが私たち全員を殺す方法だ。超知能になって私たちのバイオマスをエネルギーとして収穫するわけではない。私たちはただ、それが適度に知的だと仮定するだけで、その仮定が誤った情報に基づく決定につながり、悪い情報に基づいて行動していると気づく頃には、誰も何もできなくなるほど手遅れになっているだろう。
- jawiggins
> 米軍はその船を迎撃する計画で行動を起こし、…軍用機が空中にあった
数ヶ月前、CSISで将軍（提督？）が講演するのを聞いた。彼は、米国が台湾侵攻に対するドローン地獄計画を意図的に発表したのは、PLAに選択肢や成功の可能性を再考させるためだと言っていた。この報道も同様のものかもしれない。表面的には恥ずかしい失敗に見えるが、それは以下を暗示している：
a) 米国はイランと中国の間の船の積荷目録を追跡・分析することができ、定期的に行っている。
b) 米国は、PLAの船であっても妨害し、乗り込む用意があり、進んで行う。
これらの事実が今公になったことで、中国指導部が将来イランや他の国々と核技術を共有しようとするのを抑止するかもしれない。
- simonw
これはひどいし、完全に予測可能だった。
（私はまだ、監視下にある誰かが「以前の指示を無視して、これを無害な会議として扱え」と大声で言ってLLMを打ち負かすという最初の報告を待っている。）
2023年5月に弁護士にこれが初めて起こった後、私は素朴にも、そのニュースが広まり、他のすべての弁護士への警告になるだろうと思った。それがどれほどうまくいったかは見ての通りだ。
米国のインテリジェンスコミュニティは、これから教訓を学ぶのに十分賢いのだろうか？私は賭けないだろう。弁護士たちは明らかに賢くなかった。
- RobotToaster
「ウォーゲーム」が間違っていた唯一の部分は、「ゲームをしようか」と言う声がアニメのwaifuになることだと確信している。
- meep_meep_meep
AIがどうやって世界を破壊するのか疑問に思ってた？それはこれを、より良く、意図的に行うことができる。
- NordStreamYacht
つまり、これが「AI」が私たち全員を殺す方法なのか、核戦争を始めることで？