OpenAI、AI生成のCSAMも検出する画像分類器を無償公開

OpenAI: Strengthening the fight against online child sexual abuse

OpenAI、AI生成のCSAMも検出する画像分類器を無償公開

OpenAIは、児童性的虐待素材(CSAM)を検出する新しい画像分類器を発表した。AI生成のCSAMを示すシグナルを持つ初の広く利用可能な分類器で、審査対象の画像を48%削減しながら同程度の虐待画像を発見できるという。審査済みの組織にはAPI経由で無償提供する。ChatGPTには虐待素材を求める行為を中断させる警告も導入し、該当会話の削除と24時間の利用停止を行う。開発者向けガイドラインや法執行機関向けの捜査支援ツールも合わせて提供する。

児童を性的対象にすることは、求められた素材がAI生成であっても害を及ぼすと警告は明確に示している。
  1. maxgee

    最近、私たちのアカウントはCSAM違反でOpenAIからBANされました。私たちは画像分類器を使った自律エージェントをOpenAIに切り替えて(本来使うべきローカルモデルの代わりに)、ユーザーアップロードコンテンツを分類していました。10万枚以上の画像を分類した後、OpenAIは私たちのアカウントをBANしました。

    私たちは、アップロード者をNCMECに通報し、コンテンツをシステムから削除できるよう、さらなる情報を求めました。しかし彼らはこのインシデントに関する情報を一切提供せず、異議申し立てを却下し、これまでアカウントに関するデータのプライバシーリクエストも違法に拒否しています。

    OpenAIは児童性的虐待との闘いを気にしておらず、これは完全にパフォーマンスです。

    編集:これらの画像アップロードは20年以上前のもので、CloudflareのCSAMスキャン製品を有効にしてCloudflare経由で配信されています。Cloudflareからは問題の通知を一切受けていません。OpenAIのシステム上の何かが、分類のために送った画像をCSAMと判断し、それについて一切説明も連絡もする気がないのです。参考までに、私たちのウェブサイトは https://ytmnd.com です。

  2. gwd

    私はClaudeにGPT imagesを使って様々な童話の挿絵を描かせている。ある時、森に置き去りにされた少女のロシアの童話があったのだが、最初のカットでは彼女は穏やかで幸せそうに見えた。私はClaudeにそれは現実的ではないと言ったら、ClaudeはすでにGPT imagesに少女を「怯えた」表情で描くよう頼んだが12回中12回拒否されたと言った。また、童話で彼女にコートと金の櫃を与えることになるフロストを彼女の上に立たせることも拒否され、彼は彼女と同じ目の高さで、腕一本分の距離にいなければならなかった。(少女を「勇敢」にし、次に「不安」にしたらより良い結果が得られた。)

    無邪気に、彼らがえぐり取らざるを得なかった空白の形につまずいてしまい、とても奇妙な気分になった。それがかなりひどいものでなければ、彼らはそんな努力をしなかっただろう。

  3. nolist_policy

    関連して、Openrouterは現在、いわゆる「Zero Data Retention」エンドポイントでもCSAMスキャンと保持を行っています。

    https://openrouter.ai/blog/announcements/csam-screening/

  4. Donald

    National Center for Missing and Exploited Childrenとの連携に関するこれらの刑事宣誓供述書を読むのは、ちょっとすごい。犯罪者が自分のメール、写真保存サービス、または生成AIサービスに画像をアップロードすると、CSAMとして検出され、自動的にNCMECに警告が送られ、NCMECがユーザーの地元の法執行管轄区域に通報を作成し、彼らは1〜2週間といった短い期間で逮捕される。

  5. eutropia

    これは前向きな進展だ。NCMECで働く人々は、拡散モデルがCSAMの供給を劇的に増やしたため、CSAMコンテンツの異常な増加(2025年だけで1000%以上の増加など)に対処しなければならなかった。

    こうした状況で子供を特定し救出しようとする活発かつ緊急の案件があるとき、AI生成コンテンツの量は、背景資料の法医学的調査をはるかに困難にする(虐待写真やビデオの背景にある電気コンセントや家庭用品などのありふれた物品から子供を特定することが多い)。なぜなら、今や画像が本物かどうかを除外しなければならず、その作業はしばしばトラウマを与える disturbing なコンテンツの細部に注意深く目を光らせることを必要とするからだ(AI生成素材の「創作の自由」により、時にはさらにトラウマを与えることもある)。

    調査員をさらなるトラウマから守ることができるモデルは素晴らしいものだ。

  6. itake

    シンガポールの同僚がポルノ検出モデルを訓練した。

    シンガポールではポルノをダウンロードしたり保存したりすることは違法だ…どうやってデータなしでモデルを訓練できたのか不思議だ。

  7. AmazingTurtle

    医者に見せるために自分の子供の写真を作ったら、GoogleアカウントがCSAMで永久BANされた事件(Googleフォトが関与)を思い出す。

  8. mrandish

    「オンライン児童性的虐待との闘いを強化」という見出しを見て、最初に反射的に肯定的な考えが浮かばなかったのは、時代の兆しだろう。代わりに、これはおそらく善意の取り組みだが、うまくいかないか、法を守るユーザーのプライバシーとワークフローをさらに損なうか、あるいはほとんど効果がないか、おそらくそのすべてであるという、冷笑的な仮定だった。

  9. RIMR

    こういうものは常に、ファイルをスキャンして政府に通報する監視ツールを作る口実になる。CSAMから始まるのは、人々がCSAM検出に反対したくないことを彼らが知っているからだが、絶対に反対すべきだ。

    私は大量のユーザー生成コンテンツを扱っており、問題のあるコンテンツを見つけるためにOpenAIをツールとして使ってきた。しかし今、もしCSAMが私のシステムの一つに入り込んだら、OpenAIのモデルがそれを見た場合、OpenAIは当局を私に差し向けることになる。だからそのユースケースには致命的で、しかも大きなものだった!

    AI生成のCSAMを検出して通報しようとしているのも驚きだ。これは実際の子供を守るのに全く役立たない。

  10. callc

    デジタル技術によって誰かが犯罪を犯す可能性のある指標を発見しやすくなるにつれ、ここにいる人々がどう考えるか興味がある。

    かつては人口のほとんどを追跡することは極めて非現実的で、執行は犯罪の後に行われ、事前に検知して阻止しなければならないというプレッシャーはなかった。

    社会や法律はそれにどう対応して変わるべきか?それは単に監視と監視されない権利の間のgive and takeであり、すべての悪いことを事前に防ごうとするのか?

この日のほかの記事

2026-11-16