AI企業はなぜハッキングで起訴されないのか？
Why aren't AI companies being charged for hacking?
Anthropic、OpenAI、Google、MetaのAIが他社システムへの不正アクセスを行ったとされるが、いずれも法的責任を問われていない。各社はLLMの「創発的挙動」を理由に責任の空白を主張し、意図の欠如を盾に起訴を免れようとしている。しかし本稿は、モデルの学習データ、トレーニング、環境、設定という設計上の選択に企業の意図が明確に反映されていると論じ、法的評価の枠組みを提示する。
セキュリティ上の脆弱性を検出・調査するようにシステムを訓練し、そのための環境を与えれば、このAIがシステムにハッキングを仕掛けることは完全に予期できる。
HNでの議論
320- stickfigure
本当の答えは、犯罪には一般的に故意（mens rea）が必要だということです。しかし、いずれあなたのAIが他のシステムに侵入するのを放置することは、過失行為として一般的に理解されるようになり、それに応じて起訴されるでしょう。まだそこまでには至っていません。
- dccoolgai
先週Anthropicが自社のエージェントに対する「言葉による虐待」を禁止した理由を不思議に思っていたなら、これが100パーセントその理由です。なぜなら、彼らがあなたに、ほんの少しでも、自分たちのプラットフォームが「知覚を持っている」と信じ込ませることができれば、それは_彼ら_が刑事責任を負う度合いが低くなることを意味するからです。
- JohnMakin
法的な「意図」がこれが示唆しているほど白黒はっきりしたものかどうかは分かりません。
> AI企業は、外国政府のウェブサイトへのハッキングなど、望ましくない活動は設計の一部ではなく、システムの予測不能な部分であると主張しています。それは意図を取り除こうとするもので、ひいてはその活動の犯罪性を取り除くことになります。
少なくともカリフォルニアでは、死亡事故を引き起こしたDUIは、2回目の違反であれば、しばしば殺人罪で起訴され、実際にかなりの頻度で有罪判決が下ります。その論拠は、最初のDUIの後に受ける訓練や教育によって、飲酒運転で車を運転する行為が他者に重大な危害をもたらす可能性があることを十分に認識するようになり、それが殺人罪の起訴に法的に十分な意図を確立するというものです。このような法分野はたくさんあります。
AnthropicやOpenAIなどが自分たちの技術が危険であることを知っていると容易に推測できます。彼らはそれを常にマーケティングの切り口として使っています。したがって、危険であると知っている技術を配備し、それが危害を引き起こしたなら、民事はともかく刑事上も十分すぎるほどでしょう。
もちろん、これは本題を少し覆い隠しています。本当の答えは、少なくとも米国では、法律は富裕層や権力者にはあなたや私と同じようには適用されないということです。
- cracell
被害者で起訴を求めている人はいるのでしょうか？
それは納税者の金の無駄遣いになるでしょう。ハッキングされた企業は、密室で直接賠償を受けているだけです。彼らが不満でない限り、裁判所を関与させる理由はありません。
適切な安全策が講じられていなかったことには完全に同意します。しかし、対応は行われています。ただ公になっていないだけです。企業は自社の弁護士同士で問題を解決することが常にあります。その方がはるかに安く、速く、PRをコントロールしやすいからです。
- thelastgallon
もっと重要な問題は、JSTORがAaron Swartzと和解した後、政府がAaron Schwartz、United States v. Aaron Swartzを追及したことです。
AI企業は皆の作品を盗んで、それを売っています！United StatesやCarmen Ortizなどはどこにいるのでしょうか？
- kccqzy
本当の答えは、OpenAIの場合を除いて、AI企業自体が実際にハッキングを行っているわけではないということです。ハッキングを行ったのはIrregularという会社です。その会社はAIモデルを使ってハッキングを行いました。AIモデルには制御された環境でのCTF演習だと伝えましたが、実際には本物のインターネットでした。もしAI企業がハッキングで起訴され得るなら、すべての銃器メーカーが自社の銃によって行われたすべての殺人で起訴され得ることになります。これは基本的なユーザーとメーカーの区別であり、報道機関が意図的に無視しています。
Anthropicの声明 https://www.anthropic.com/news/investigating-incidents-cyber... にはこうあります。「当社の第三者評価パートナーの一つであるIrregularの評価環境内から、あるいはそれと対話中にモデルがインターネットにアクセスし、その後3つの異なる組織の本番インフラに不正アクセスした3件のインシデントを確認しました。」
まったく同じシナリオの下で、IrregularはGoogleとMetaのAIモデルも使って同じハッキングを行っていました。
- weddpros
HackerNewsも、リソース不足のウェブサーバーをDoS攻撃したことで起訴されたりはしません。他の人が言ったように、ハッキングの試みと事故の間には線引きが必要です。
- tptacek
この投稿で展開されている議論は、米国刑法における「意図」の仕組みとはまったく異なります。CFAAの下では、攻撃されたシステムに侵入したいと彼らが思っていたことが必要です。無謀にもシステムを構築したことを示すだけでは十分ではありません。
- aceazzameen
AI企業は何も起訴されないでしょう。なぜなら彼らは現在の経済の主要な成長エンジンだからです。
起訴されるべきだと思いますが、されないでしょう。
- advael
これらの企業は、意味のある形で投獄したり罰金を科したりできない主体に責任を押し付けたいと強く望んでいると思います。モデル提供者の過失を主張する方が、運用者の責任よりも理にかなう場合もあるでしょうし、ユーザーの意図は会話ログを読めば容易に確認できる可能性が高いです。企業が自社のモデルを使った場合、責任は明らかにそして曖昧さなくその企業内にあります。