OpenAI, AI 생성 CSAM까지 잡아내는 이미지 분류기를 무료로 공개
OpenAI: Strengthening the fight against online child sexual abuse

OpenAI가 아동 성착취물(CSAM) 탐지용 이미지 분류기를 OpenAI API를 통해 심사를 거친 기관에 무료로 제공한다. AI 생성 여부까지 판별하는 최초의 광범위 공개 분류기로, NCMEC 협력으로 개발됐다. 초기 테스트에서 기존 도구 대비 검토 이미지를 48% 줄이면서 유사한 수준의 불법 이미지를 찾아냈고, fal 테스트에서는 고신뢰 플래그의 72%가 신규 CSAM으로 확인됐다. ChatGPT에는 경고와 24시간 접근 정지 조치도 도입된다.
우리의 테스트에서 OpenAI의 분류기는 우리가 본 것 중 최고였으며, 해시 매칭이 놓치는 알려지지 않은 CSAM을 잡아냈습니다. 그림과 애니메이션에서도 강력한 성능을 보였고, 합법적인 성인 콘텐츠에 대한 오탐률은 1% 미만이었습니다.
HN 토론
318- maxgee
우리 계정이 최근 CSAM 위반으로 OpenAI에서 차단됐습니다. 우리는 사용자 업로드 콘텐츠를 분류하는 자율 에이전트를 운영하고 있었는데, 그 에이전트가 (원래 사용해야 했던 로컬 모델 대신) 이미지 분류기를 OpenAI로 전환했습니다. 10만 장이 넘는 이미지를 분류한 후 OpenAI가 우리 계정을 차단했습니다.
우리는 업로더를 NCMEC에 신고하고 시스템에서 해당 콘텐츠를 제거할 수 있도록 추가 정보를 요청했습니다. 그들은 이 사건에 대한 어떤 정보도 제공하지 않았고, 우리 항소도 기각했으며, 지금까지 우리 계정 데이터에 대한 프라이버시 요청을 불법적으로 거부하고 있습니다.
OpenAI는 아동 성착취와의 싸움에 관심이 없습니다. 이건 완전히 쇼입니다.
편집: 이 이미지 업로드들은 20년 이상 된 것도 있으며, Cloudflare의 CSAM 스캔 제품이 활성화된 상태로 Cloudflare를 통해 제공되고 있습니다. 우리는 Cloudflare로부터 어떤 문제 알림도 받지 못했습니다. OpenAI 시스템 어딘가에서 우리가 분류를 위해 보낸 이미지가 CSAM이라고 판단하고 있는데, 그들은 이에 대해 전혀 설명하거나 소통할 의사가 없습니다. 참고로 우리 웹사이트는 https://ytmnd.com 입니다.
- gwd
그래서 저는 Claude가 GPT 이미지를 사용해 다양한 동화에 삽화를 넣도록 작업해 왔습니다. 어느 시점에 숲에 버려진 소녀에 관한 러시아 동화가 있었는데, 첫 시안에서는 소녀가 평화롭고 행복해 보였습니다. 저는 Claude에게 그건 현실적이지 않은 것 같다고 말했고, Claude는 이미 GPT 이미지에 소녀를 "겁에 질린" 모습으로 보여달라고 요청했지만 12번 모두 거부당했다고 했습니다. 또한 동화에서 결국 소녀에게 코트와 금 상자를 주는 프로스트가 소녀 위에 서 있는 것도 거부했고, 그는 소녀와 같은 높이에서 팔 길이만큼 떨어져 있어야 했습니다. (소녀를 "용감한" 모습으로, 그다음 "불안한" 모습으로 보여주는 것은 더 나은 결과를 얻었습니다.)
그들이 어쩔 수 없이 파내야 했던 빈 공간에 무심코 발을 들여놓은 기분이 꽤 웃겼습니다. 그렇게까지 심각하지 않았다면 그런 노력을 들이지 않았겠죠.
- nolist_policy
관련해서, Openrouter는 이제 소위 "Zero Data Retention" 엔드포인트에서도 CSAM 스캔과 보존을 수행합니다.
- Donald
NCMEC(National Center for Missing and Exploited Children) 연동과 관련된 이런 형사 진술서들을 읽는 것은 꽤 놀랍습니다. 범죄자가 자신의 이메일, 사진 저장 서비스, 또는 생성형 AI 서비스에 이미지를 업로드하면, 그것이 CSAM으로 탐지되어 자동으로 NCMEC에 경보가 전달되고, NCMEC은 사용자의 지역 법 집행 관할구역에 팁을 생성하며, 그들은 1~2주 같은 짧은 기간 내에 체포됩니다.
- eutropia
이것은 긍정적인 발전입니다. NCMEC에서 일하는 사람들은 확산 모델이 CSAM 공급을 극적으로 증폭시키면서 CSAM 콘텐츠가 엄청나게 증가한 것(2025년 한 해에만 1,000% 이상 증가 같은)을 감당해야 했습니다.
이런 상황에서 아이들을 찾아 구조하려는 적극적이고 긴급한 사건이 있을 때, AI 생성 콘텐츠의 양은 배경 자료에 대한 포렌식 조사를 훨씬 더 어렵게 만듭니다(학대 사진과 비디오 배경에 있는 전기 콘센트, 가정용품 같은 평범한 물건으로 아이들을 찾아내는 경우가 많습니다). 왜냐하면 이제는 이미지가 실제인지부터 배제해야 하기 때문입니다. 이 작업은 종종 외상적이고 충격적인 콘텐츠의 세부 사항에 세심한 주의와 면밀한 조사를 요구합니다(AI 생성 자료의 '창작의 자유' 때문에 때로는 더욱 외상적입니다).
조사관들을 추가적인 트라우마로부터 보호할 수 있는 모델은 훌륭한 것입니다.
- itake
싱가포르에 있는 제 동료들이 포르노 탐지 모델을 훈련했습니다.
싱가포르에서는 포르노를 다운로드하거나 저장하는 것이 불법입니다… 그들이 어떻게 데이터 없이 모델을 훈련할 수 있었는지 궁금하네요.
- AmazingTurtle
의사에게 보여주려고 자기 아이 사진을 만든 남자가 Google 계정이 CSAM으로 영구 정지된 사건이 생각나네요 (Google 포토 관련)
- mrandish
"온라인 아동 성착취와의 싸움 강화"라는 헤드라인을 보고 제 첫 반사적 생각이 긍정적이지 않았다는 게 시대의 징조인 것 같습니다. 대신 이건 아마도 선의의 노력이지만 잘못될 가능성이 있거나, 법을 준수하는 사용자의 프라이버시와 워크플로를 더 훼손하거나, 아니면 대체로 효과가 없을 것이라는 냉소적인 가정이었습니다. 그리고 아마도 세 가지 모두일 수도 있습니다.
- RIMR
이런 종류의 일은 항상 파일을 스캔해서 정부에 신고하는 감시 도구를 만드는 구실이 됩니다. CSAM으로 시작하는 건 사람들이 CSAM 탐지에 반대하기를 원치 않는다는 걸 알기 때문이죠. 하지만 당신은 절대적으로 반대해야 합니다.
저는 많은 사용자 생성 콘텐츠를 다루며, 문제가 되는 콘텐츠를 찾는 도구로 OpenAI를 사용해 왔습니다. 이제 만약 CSAM이 제 시스템 중 하나에 들어오면, OpenAI 모델이 그것을 보는 순간 OpenAI가 당국을 제 뒤에 보낼 것이라는 걸 알게 됐습니다. 그래서 그 사용 사례에는 결정적인 문제이고, 그것도 큰 문제였습니다!
그들이 AI 생성 CSAM을 탐지하고 신고하려 한다는 것도 말도 안 됩니다. 이건 실제 아이들을 보호하는 데 전혀 도움이 되지 않습니다.
- callc
디지털 기술이 누군가 범죄를 저지를 수 있다는 징후를 더 쉽게 포착하게 되면서 여기 사람들은 어떻게 생각하는지 궁금합니다.
예전에는 대부분의 인구를 추적하는 것이 극히 비현실적이었고, 범죄 후에 집행이 이루어지며, 범죄가 일어나기 전에 탐지해서 막아야 한다는 압박이 전혀 없었다는 점을 생각하고 있습니다.
이에 대한 대응으로 사회와 법은 어떻게 변해야 할까요? 감시와 감시받지 않을 권리 사이의 순수한 주고받기이며, 모든 나쁜 일이 일어나기 전에 막으려는 시도일까요?