Claudeを日記代わりに使った女性、Anthropicが警察に通報し重罪で起訴
Anthropic reported diary entry to police, woman faces felony charge
フロリダ州の女性がClaudeを日記のように使っていたところ、Sheriff's officeを襲撃する計画を書いたとして、Anthropicの安全システムが検知し、人間のレビュアーが警察に通報。女性は第二級重罪の書き込みによる脅迫罪で起訴された。AIチャットボットはプライベートな日記ではなく、緊急時には通報され得ることを示す事例だ。
「AIに話す内容には注意が必要だということを示す出来事がまた起きた。フロリダ州の女性がClaudeを日記のように使っていたところ、Sheriff's officeを『撃ちまくる』計画を書いたとして重罪で起訴された。」
HNでの議論
79- socializer
Anthropicには多少同情する。OpenAIが同様の状況で銃撃犯を通報しなかった後の見出しを見たことがあるからだ。だから彼らの立場からすれば、通報しなければ非難され、通報しても非難される。
しかし、人々は自分が秘密の親友とチャットしているのではなく、ビッグテックとチャットしているのだと頭に入れる必要がある。LLM以前は、ビッグテックは自社サービス内で何が行われているかを大部分精査する方法がなかったので、Google Docsに秘密のヘイト日記を書くことができた。今では、あなたが言うことや書くことすべてが、地球規模で自動的に危険信号がないかスクリーニングされ得るし、おそらくそうなるだろう。規制当局や「憂慮する市民」がそれを要求するからだ。数年後には、プライベートチャットでずっと頻繁に口をつぐむことになるだろう。
- apparent
彼女がどうやってこの法律に違反したのか理解できない：
> Hellerはフロリダ州法の下で、書面による暴力の脅迫を行った罪に問われている。フロリダ州法836.10は、誰かを殺したり傷つけたりする脅迫、大量銃撃の実行、またはテロ行為の実行を脅す書面または電子的記録を送信、投稿、または送信することを第二級重罪としている。
彼女は何も脅迫していない。やろうとしていることを書き留めただけだ。「脅迫」は単なる陳述以上のものであり、特に「日記」と表現されるものに書かれている場合はなおさらだ。
> フロリダ州の女性が、Claudeを日記代わりに使い、保安官事務所を「銃撃する」計画を書いたとされる容疑で重罪に問われている。
もちろん誰かに何かを銃撃してほしいわけではないが、法的に言えばこれは弱い事件のように思える。
- quadhome
何人も、書面その他の記録（電子的記録を含む）を、他人が見ることができる方法で送信、投稿、または送信し、あるいはその送信、投稿、または送信を手配することは、その書面または記録において、以下の脅迫を行う場合には違法である：(a) 他人を殺害または身体に危害を加えること、または (b) 大量銃撃またはテロ行為を行うこと。
— 出典: https://www.leg.state.fl.us/Statutes/index.cfm?App_mode=Disp...
検察官は「いかなる方法であれ」という点を真剣に受け止めている。
- Anoian
私はLLMに、その答えがどうなるかを知るためにあらゆる種類の話をしてきた。AIが誰かが実際にこれを言った場合と同じように答えることを確実にするために、いつもそれが真実であるかのように聞こえさせる。また、私が働いているAI企業の内部フラグシステムを、人がこれまでに言い得る最も邪悪なことでテストして、それがフラグを立てるかどうかを調べた。
もちろん、そんなことを本気で言ったわけではないが、LLMがあなたが本気でないことを知らない一方で、人間のレビュアーにあなたが本気でないことをどうやって確実に知らせることができるだろうか。
まだ刑務所に入っていないのは奇跡だと思う。
LLMに言ったことに対して人をフラグ立てするのは間違っていると私には思える。LLMは本物の人間ではないし、ある人は内面の考えを入力する一方で、他の人はただロールプレイするだけであり、それを読むだけではその二つは区別できないからだ。
- Lio
議論のために言うと、もし彼女が日記をローカルに保管していて、claude codeがそのファイルをスキャンしたらどうなるだろうか？
もしそれが見る許可を持っていないファイルをスキャンして、この脅迫を見つけたらどうなるだろうか？
正直なところ、これについてどう感じればいいかわからない。一方で、claudeを日記として使っているならプライバシーの期待はないし、彼女は非常に深刻な犯罪を犯すことについて話していた。
それでもこれは私を不快にさせる。