OpenAI выпустила бесплатный классификатор для поиска CSAM, в том числе созданного ИИ

OpenAI: Strengthening the fight against online child sexual abuse

OpenAI выпустила бесплатный классификатор для поиска CSAM, в том числе созданного ИИ

OpenAI открыла бесплатный доступ к новому классификатору изображений, который выявляет материалы сексуального насилия над детьми, включая сгенерированные ИИ. В тестах он отметил на 48% меньше изображений, чем прежние инструменты, но находил примерно столько же нарушений, а вероятность реального злоупотребления среди его флагов была вдвое выше. В ChatGPT появились предупреждения с блокировкой на 24 часа и ссылками на помощь, а для разработчиков опубликованы практические рекомендации.

«В наших тестах классификатор OpenAI — лучший из тех, что мы видели: он ловит неизвестные CSAM, которые пропускает сопоставление по хешам, включая сильные результаты на рисунках и анимации, при доле ложных срабатываний ниже 1% на легальном контенте для взрослых».
  1. maxgee

    Наш аккаунт недавно был заблокирован OpenAI за нарушение, связанное с CSAM. У нас был автономный агент, использующий классификатор изображений, который переключился на OpenAI (вместо локальной модели, которую он должен был использовать) и классифицировал загружаемый пользователями контент. После классификации более 100 000 изображений OpenAI заблокировала наш аккаунт.

    Мы запросили дополнительную информацию, чтобы сообщить о загрузившем в NCMEC и удалить контент из наших систем. Они отказались предоставить нам какую-либо информацию об этом инциденте, отклонили нашу апелляцию и до сих пор незаконно отказывают в наших запросах на конфиденциальность данных о нашем аккаунте.

    OpenAI не заботится о борьбе с сексуальным насилием над детьми, это чистой воды показуха.

    EDIT: Этим загрузкам изображений уже более 20 лет, и они обслуживаются через Cloudflare с включённым продуктом сканирования CSAM. Мы не получили никаких уведомлений о проблемах от Cloudflare. Что-то в системе OpenAI считает, что изображение, которое мы отправили им для классификации, является CSAM, и они не желают давать пояснения или общаться по этому поводу. Для справки, наш сайт — https://ytmnd.com

  2. gwd

    Так вот, я работал над тем, чтобы Claude использовал изображения GPT для иллюстрации различных сказок. В какой-то момент была русская сказка о девочке, оставленной в лесу, но в первом варианте она выглядела спокойной и счастливой. Я сказал Claude, что не думаю, что это реалистично, и он ответил, что уже просил GPT images показать девочку «испуганной», и ему отказали 12 раз из 12. Он также отказался изобразить Мороза (который в сказке в итоге дарит ей шубу и сундук с золотом) стоящим над ней; он должен был быть на её уровне, на расстоянии вытянутой руки. (Изображение девочки как «смелой», а затем «нервной» дало лучшие результаты.)

    У меня осталось довольно странное чувство — невинно наткнуться на пустую форму, которую им пришлось вырезать. Они бы не стали тратить на это усилия, если бы всё не было довольно плохо.

  3. nolist_policy

    В связи с этим Openrouter теперь также выполняет сканирование и хранение CSAM на так называемых эндпоинтах «Zero Data Retention».

    https://openrouter.ai/blog/announcements/csam-screening/

  4. Donald

    Довольно дико читать эти уголовные аффидевиты вокруг интеграций с Национальным центром пропавших и эксплуатируемых детей. Преступник загружает изображение в свою электронную почту, сервис хранения фотографий или сервис генеративного ИИ, оно определяется как CSAM, автоматически направляется оповещение в NCMEC, NCMEC генерирует наводку для местных правоохранительных органов юрисдикции пользователя, и их арестовывают в течение короткого периода времени, например, одной-двух недель.

  5. eutropia

    Это позитивное развитие. Сотрудникам NCMEC пришлось иметь дело с безумным ростом контента CSAM (например, рост более чем на 1000% только за 2025 год) из-за того, что диффузионные модели резко увеличили предложение CSAM.

    Когда есть активное и срочное дело по попытке найти и спасти детей в таких ситуациях, объём контента, сгенерированного ИИ, делает судебные расследования по фоновым материалам (часто именно так они находят детей, подвергающихся насилию, — по прозаичным предметам, таким как электрические розетки, предметы домашнего обихода и т. д. на фоне фотографий и видео с насилием) намного сложнее, потому что теперь им приходится исключать, является ли изображение вообще реальным — задача, которая часто требует пристального внимания и изучения деталей травмирующего и тревожного контента (иногда ещё более травмирующего из-за «творческой свободы» материалов, сгенерированных ИИ).

    Модель, способная оградить следователей от дополнительной травмы, — это отличная вещь.

  6. itake

    Мои коллеги в Сингапуре обучали модель обнаружения порнографии.

    Порнографию незаконно скачивать или сохранять в Сингапуре… Интересно, как они смогли обучить модель без данных.

  7. AmazingTurtle

    Напоминает случай, когда чувак сделал фотографии своего ребёнка, чтобы показать врачу, и его аккаунт Google был навсегда заблокирован за CSAM (замешан Google Photos).

  8. mrandish

    Полагаю, это признак времени, что, увидев заголовок «Усиление борьбы с сексуальным насилием над детьми в интернете», моя первая рефлекторная мысль была не позитивной. Вместо этого это было циничное предположение, что это будет ещё одна, возможно, благонамеренная попытка, которая, скорее всего, либо пойдёт не так, либо ещё больше подорвёт конфиденциальность и рабочие процессы законопослушных пользователей, либо окажется в значительной степени неэффективной — и вполне возможно, что всё три сразу.

  9. RIMR

    Подобные вещи всегда являются оправданием для создания инструментов слежки, которые сканируют ваши файлы и доносят на вас правительству. Всё начинается с CSAM, потому что они знают, что вы не хотите спорить против обнаружения CSAM, но вам абсолютно следует.

    Я имею дело с большим количеством пользовательского контента и использовал OpenAI как инструмент для поиска оскорбительного контента. Теперь я вижу, что если CSAM когда-либо попадёт в одну из моих систем, OpenAI направит власти за мной, если их модель тоже это увидит, так что это стоп-фактор для такого использования, и это был большой стоп-фактор!

    Также дико, что они пытаются обнаруживать и сообщать о CSAM, сгенерированном ИИ. Это абсолютно ничего не делает для защиты реальных детей.

  10. callc

    Любопытно, что здесь думают люди, поскольку цифровые технологии облегчают выявление признаков того, что кто-то может совершить преступление.

    Я думаю о том, как раньше было крайне непрактично отслеживать большую часть населения, правоприменение наступает после преступления, и нет давления на то, чтобы обнаружить его до того, как оно произойдёт, и остановить.

    Как должно измениться общество/закон в ответ? Это чисто вопрос компромисса между слежкой/правом на то, чтобы за тобой не наблюдали, и попытками предотвратить всё плохое до того, как оно случится?

Ещё за этот день

2026-11-16