OpenAI 推出新工具打击儿童性虐待内容
OpenAI: Strengthening the fight against online child sexual abuse

OpenAI 今天发布了全新的图像分类器,能够检测包括 AI 生成在内的儿童性虐待材料(CSAM),并免费向经审核的组织开放。该工具不仅能识别前所未见的新型滥用图像,还能显著减少审核工作量,同时提高对真实滥用内容的识别准确率。此外,OpenAI 在 ChatGPT 中引入了新的干预机制,当用户试图获取有害内容时,系统会发出警告、暂停访问 24 小时并引导其寻求专业帮助。我们还发布了针对开发者的 CSAM 指导文档,并与 NCMEC、Tech Coalition 等机构合作,为执法部门提供 AI 调查工具,共同构建更安全的网络环境。
技术在帮助识别儿童性虐待材料(CSAM)以及最终识别可能出现在其中的儿童方面,发挥着至关重要的作用。
HN 评论区
318- maxgee
我们的账号最近因违反 CSAM(儿童性虐待材料)规定被 OpenAI 封禁。我们有一个自主代理使用图像分类器,本应使用本地模型,却错误地切换到了 OpenAI,用于对用户上传的内容进行分类。在分类了超过 10 万张图片后,OpenAI 封禁了我们的账号。
我们要求提供更多信息,以便向 NCMEC 举报上传者并从我们的系统中删除相关内容。他们拒绝提供任何关于此事件的信息,驳回了我们的申诉,并且至今非法拒绝了我们关于账号数据的隐私请求。
OpenAI 根本不在乎打击儿童性虐待,这完全是作秀。
编辑补充:这些图片上传时间最早可追溯到 20 多年前,且是通过启用了其 CSAM 扫描产品的 Cloudflare 进行分发的。我们从未收到过 Cloudflare 关于任何问题的通知。OpenAI 系统中的某个环节认为我们发送给它们用于分类的图片是 CSAM,但他们完全不愿意对此进行解释或沟通。供参考,我们的网站是 https://ytmnd.com
- gwd
所以我一直在尝试让 Claude 使用 GPT 生成的图片来为各种童话故事配图。其中有一个俄罗斯故事,讲的是一个被遗弃在森林里的女孩,但在第一版中,她看起来平静而快乐。我告诉 Claude 我觉得这不真实,它回答说它已经请求 GPT 图片生成女孩“害怕”的表情,但 12 次尝试全部被拒。它也拒绝让 Frost(在童话故事中,Frost 最终给了她一件外套和一箱金子)站在她上方;Frost 必须与她平视,保持一臂之遥。(将女孩表现为“勇敢”然后“紧张”的效果更好。)
这让我产生了一种相当滑稽的感觉,就像不小心绊倒在他们不得不挖出的那个空洞形状上一样。如果情况不是相当糟糕,他们绝不会花这么大力气去做这件事。
- nolist_policy
与此相关的是,Openrouter 现在也在所谓的“零数据保留”端点上执行 CSAM 扫描和数据保留。
- Donald
阅读这些关于与国家失踪和被剥削儿童中心(NCMEC)集成的刑事宣誓书,感觉相当疯狂。罪犯将图片上传到他们的电子邮件、照片存储服务或生成式 AI 服务,系统检测到这是 CSAM,自动向 NCMEC 发送警报,NCMEC 向用户所在地的执法部门生成线索,随后该用户在短短一两周内就被逮捕了。
- eutropia
这是一个积极的进展。由于扩散模型极大地增加了 CSAM 的供应,NCMEC 的工作人员不得不应对 CSAM 内容的疯狂增长(仅 2025 年就增长了 1000% 以上)。
当需要积极且紧急地尝试定位并解救这些情况下的儿童时,AI 生成内容的庞大数量使得对背景材料进行法医调查变得更加困难(他们定位受虐待儿童的方式通常是通过虐待照片和视频背景中的普通物品,如电源插座、家居用品等),因为他们现在必须先排除一张图片是否真实——这项任务往往需要仔细关注并审查那些令人创伤和不安的内容的细节(有时由于 AI 生成材料的“创作自由”,这变得更加令人创伤)。
一种能够保护调查员免受额外创伤的模型是一件极好的事情。
- itake
我在新加坡的同事训练了一个色情内容检测模型。
在新加坡,下载或保存色情内容是非法的……我想知道他们是如何在没有数据的情况下训练这个模型的。
- AmazingTurtle
这让我想起那个案例:一个家伙拍了他孩子的照片给医生看,结果他的 Google 账号因涉及 CSAM 被永久封禁(涉及 Google Photos)。
- mrandish
我想,这大概就是时代的标志吧:看到“加强打击在线儿童性虐待”这个标题时,我的第一反应并不是积极的。相反,这是一种愤世嫉俗的假设:这很可能又是一个或许出于好意的努力,但最终可能会搞砸,进一步破坏守法用户的隐私和工作流程,或者 largely 无效——甚至可能三者兼有。
- RIMR
这类事情总是成为创建监控工具的借口,扫描你的文件并向政府举报你。它总是从 CSAM 开始,因为他们知道你不会反对检测 CSAM,但你绝对应该反对。
我处理大量用户生成内容,一直使用 OpenAI 作为工具来帮助发现违规内容。现在我看到,如果 CSAM 偶然进入我的系统,而 OpenAI 的模型也检测到了,他们会向当局举报我,这对那个用例来说是个决定性的障碍,而且那本来是个大用例!
同样疯狂的是,他们试图检测并举报 AI 生成的 CSAM。这对保护真正的儿童毫无帮助。
- callc
好奇大家对此怎么看:数字技术让识别某人可能犯罪的迹象变得更加容易。
我在想,过去追踪大多数人口是极其不切实际的,执法总是在犯罪发生后介入,也没有压力要求必须在犯罪发生前检测到并阻止它。
社会/法律应该如何应对这种变化?这纯粹是监控/不被监视的权利与试图在坏事发生前阻止所有坏事之间的权衡吗?