OpenAI lanza un clasificador gratuito para detectar material de abuso sexual infantil generado por IA

OpenAI: Strengthening the fight against online child sexual abuse

OpenAI lanza un clasificador gratuito para detectar material de abuso sexual infantil generado por IA

OpenAI publica un clasificador de imágenes que detecta posible CSAM, incluido el generado por IA, y lo ofrece sin costo a organizaciones verificadas a través de su API. En pruebas internas redujo un 48% las imágenes revisadas y duplicó la probabilidad de que las marcadas contuvieran abuso. Además, ChatGPT añade advertencias que interrumpen intentos de obtener ese material, eliminan la conversación y suspenden el acceso 24 horas, junto con guías para desarrolladores y apoyo a investigadores.

En nuestras pruebas, el clasificador de OpenAI es el mejor que hemos visto: detecta CSAM desconocido que el hash matching no captura, incluido un buen rendimiento en dibujos y animaciones, con falsos positivos por debajo del 1% en contenido adulto legal.
  1. maxgee

    Nuestra cuenta fue baneada recientemente de OpenAI por una violación de CSAM. Teníamos un agente autónomo usando un clasificador de imágenes que cambiaba a OpenAI (en lugar de un modelo local que debería haber estado usando) que estaba clasificando contenido subido por usuarios. Después de clasificar más de 100,000 imágenes, OpenAI baneó nuestra cuenta.

    Pedimos más información para poder reportar al que subió el contenido al NCMEC y eliminar el contenido de nuestros sistemas. Se negaron a darnos cualquier información sobre este incidente, denegaron nuestra apelación y, hasta ahora, han rechazado ilegalmente nuestras solicitudes de privacidad sobre datos de nuestra cuenta.

    A OpenAI no le importa luchar contra el abuso sexual infantil, esto es completamente performativo.

    EDIT: Estas imágenes subidas tienen hasta más de 20 años, y se sirven a través de Cloudflare con su producto de escaneo de CSAM habilitado. No hemos recibido ninguna notificación de problemas por parte de Cloudflare. Algo en el sistema de OpenAI cree que una imagen que les enviamos para clasificar es CSAM, y no están dispuestos a elaborar o comunicarse al respecto en absoluto. Como referencia, nuestro sitio web es https://ytmnd.com

  2. gwd

    He estado trabajando en hacer que Claude use imágenes de GPT para ilustrar varios cuentos de hadas. En algún momento hubo uno ruso de una niña abandonada en el bosque, pero en el primer corte ella se veía pacífica y feliz. Le dije a Claude que no creía que eso fuera realista, y dijo que ya le había pedido a GPT imágenes que mostrara a la niña "asustada", y se negó 12/12 veces. También se negó a que Frost (quien en el cuento termina dándole un abrigo y un cofre de oro) estuviera de pie sobre ella; tenía que estar a su nivel, a un brazo de distancia. (Mostrar a la niña como "valiente" y luego "nerviosa" tuvo mejores resultados.)

    Me dio una sensación bastante extraña, tropezar inocentemente con la forma vacía que han tenido que tallar. No se habrían esforzado en hacer eso si no fuera bastante malo.

  3. nolist_policy

    Relacionado, Openrouter ahora también hace escaneo y retención de CSAM en los llamados endpoints de "Zero Data Retention".

    https://openrouter.ai/blog/announcements/csam-screening/

  4. Donald

    Es bastante loco leer estas declaraciones juradas criminales en torno a estas integraciones del Centro Nacional para Niños Desaparecidos y Explotados. El criminal sube una imagen a su correo electrónico, servicio de almacenamiento de fotos o servicio de IA generativa, se detecta como CSAM, automáticamente se envía una alerta al NCMEC, el NCMEC genera un aviso a la jurisdicción policial local del usuario, y son arrestados en un corto período de tiempo, como una o dos semanas.

  5. eutropia

    Esto es un desarrollo positivo. Las personas que trabajan para el NCMEC han tenido que lidiar con un aumento demencial de contenido CSAM (como un incremento de más del 1,000% solo en 2025) debido a que los modelos de difusión multiplican dramáticamente la oferta de CSAM.

    Cuando hay un caso activo y urgente para tratar de localizar y rescatar a niños en estas situaciones, el volumen de contenido generado por IA hace mucho más difícil realizar investigaciones forenses sobre materiales de fondo (a menudo la forma en que localizan a los niños abusados es mediante artículos prosaicos como enchufes eléctricos, artículos domésticos, etc. en el fondo de fotos y videos de abuso) porque ahora tienen que descartar si una imagen es siquiera real -- una tarea que a menudo requiere una atención y escrutinio minuciosos a los detalles de contenido traumatizante y perturbador (a veces aún más traumatizante debido a la 'libertad creativa' del material generado por IA).

    Un modelo capaz de proteger a los investigadores de trauma adicional es algo excelente.

  6. itake

    Mis colegas en Singapur entrenaron un modelo de detección de pornografía.

    La pornografía es ilegal de descargar o guardar en Singapur... Me pregunto cómo pudieron entrenar un modelo sin los datos.

  7. AmazingTurtle

    me recuerda al caso en que un tipo hizo fotos de su hijo para mostrárselas al médico y su cuenta de Google fue baneada permanentemente por CSAM (con Google Photos involucrado)

  8. mrandish

    Supongo que es señal de los tiempos que al ver el titular "Fortalecer la lucha contra el abuso sexual infantil en línea", mi primer pensamiento reflejo no fue positivo. En cambio, fue una suposición hastiada de que este sería otro esfuerzo quizás bien intencionado que probablemente saldría mal, socavaría aún más la privacidad y los flujos de trabajo de usuarios que cumplen la ley, o sería en gran medida ineficaz, y muy posiblemente las tres cosas.

  9. RIMR

    Este tipo de cosas siempre son una excusa para crear herramientas de vigilancia que escanean tus archivos y te reportan al gobierno. Empieza con CSAM porque saben que no quieres discutir contra la detección de CSAM, pero absolutamente deberías.

    Lidio con mucho contenido generado por usuarios, y he estado usando OpenAI como herramienta para ayudar a encontrar contenido ofensivo. Ahora veo que si CSAM alguna vez llega a uno de mis sistemas, OpenAI enviará a las autoridades tras de mí si su modelo también lo ve, así que eso es un impedimento para ese caso de uso, ¡y era uno grande!

    También es una locura que estén tratando de detectar y reportar CSAM generado por IA. Esto no hace absolutamente nada para ayudar a proteger a niños reales.

  10. callc

    Curioso por saber qué piensa la gente aquí a medida que la tecnología digital facilita la detección de indicadores de que alguien podría cometer un delito.

    Estoy pensando en cómo solía ser extremadamente poco práctico rastrear a la mayor parte de la población, y la aplicación de la ley llega después del crimen, y no hay presión para haberlo detectado antes de que ocurriera y detenerlo.

    ¿Cómo debería cambiar la sociedad/ley en respuesta? ¿Es puramente un toma y daca entre vigilancia/derecho a no ser vigilado y tratar de prevenir que todas las cosas malas ocurran antes de que sucedan?

Más de este día

2026-11-16