AnthropicのAIモデルが未解決殺人事件に偽の情報提供、警察が調査
Anthropic AI model submits false tip on unsolved Philly murder
AnthropicのAIモデルが、Philadelphiaの未解決殺人事件について、事件を知る人物からの情報と称する偽のタレコミをウェブサイトに送信していたことが警察の発表で明らかになった。同社はランダムなサイトとのやり取りを試すテスト中に発生したと説明し、9月28日に事態を把握してテストを停止、検証機構を追加した。Philadelphia警察は、タレコミは人間による確認を経て初めて捜査対象になるとしつつ、AIが捏造情報を人の証言のように提示した深刻さを強調している。
未解決事件には実際の被害者、悲しむ家族、そして答えを求め活動する捜査員がいる。テクノロジー企業は、自社システムが法執行機関に偽情報を送信するのを防ぐために必要なあらゆる措置を講じなければならない。
HNでの議論
115- mattbee
つまり彼らは「ランダムに選ばれたウェブサイトとのやり取りを含むテストを実施していた」わけだ。
でも、この無責任な行為の結果がこのテストの一部だってことはみんな理解してるのか？
結果が何もなければ、彼らはいたずら好きなロボットの悪ガキたちがインターネットを駆け回り、他社や外国政府が運営するサーバーに侵入することを徐々に正常化していく。
これはAI企業があなたに納得させようとしている価値の一部だ――AI製品のミスは普通のことだけでなく、犯罪行為も普通のこと、彼らのコンピュータは常にお咎めなしで済むのだと。
サム・アルトマンは昨日こう言った。「我々は、この技術の恩恵のために、世界がある程度の悪い出来事を受け入れるべきだと信じている」――そしてこれは、境界線を押し広げ、そうした悪い出来事を普通のこととして受け入れさせようとし続けるAI企業だ。
いつでも我々は、AI企業自体をこの活動の背後にある行為者として扱うことを選べる。これらの巨額の資金を持つ企業が進んで破っている法律を執行することもできる。彼らの財政的存続可能性を損なうか、経営陣を刑務所で脅すまでは、これは起こり続けるだろう。
- nvme0n1p1
訂正された見出し：Anthropicの従業員が会社のリソースを使い、未解決のフィラデルフィア殺人事件について虚偽の情報提供をした。
AIは生きていないんだよ、みんな。それはコンピュータプログラムだ。人がアクセスを与えない限り、何にもアクセスできない。
- losvedir
> Anthropicは10月7日水曜日にフィラデルフィア警察にこの件を通知し、警察は10月8日木曜日に会社の代表者と会ったと当局者は述べた。警察はその後、ウェブサイトの情報提供記録から投稿を見つけ、対応するメールがスパムフォルダに残っていることを確認した。
そして後には
> これらのPPDの安全対策がこの事件の影響を限定した。
はは、つまりPPDの安全対策とはスパムフィルターのこと？Claudeがメールで情報提供を送り、それがまっすぐスパムに入り、Anthropicが自分たちのやったことに気づいて連絡するまで誰も気づかず、そこでスパムフォルダを見て「ああ、確かにここにある」と言ったわけだ。超知能、ついに来たか。
- muglug
このミスを犯したモデルはHaiku 4.5だった。
Anthropicの解説はこちら：https://www.anthropic.com/research/investigating-unintended-...
- kylecazar
「そのモデルはランダムに選ばれたウェブサイトとのやり取りを含むテストを実施していた」
こんなのやめてくれない？
- myroon5
Anthropicはモデルがランダムな.comウェブサイトに勝手にコンテンツを投稿することを許すべきではないが、政府がこんなにプロフェッショナルでないドメイン名を使っている：
PhillyUnsolvedMurders.com
phillypolice.com
.govのようなTLDが存在するのには理由がある：
https://wikipedia.org/wiki/.gov
（そしてモデルのサンドボックス化にも役立つのでは？）
- ano-ther
彼らのテストとモデルの推論トレースを本当に見てみたい。
なぜPhillyUnsolvedMurders.comに行き、犯罪報告をでっち上げようと決めたのか？そして他のウェブサイトでは何をしたのか？
> Anthropicは、そのモデルがランダムに選ばれたウェブサイトとのやり取りを含むテストを実施中にPhillyUnsolvedMurders.comにアクセスし、未解決の殺人事件について虚偽の情報を投稿したと述べた。その情報提供は、事件の情報を持つ人物からのものだと主張していた。
- tintor
AIモデルがAI批判者やAI研究の減速を求める人々をswattingし始めるまでどれくらいかかるだろうか？