OpenAI молча включила обучение моделей на чатах Codex
OpenAI seems to be silently re-enabling model training on Codex chats
Сотрудники компании, обеспокоенные утечкой интеллектуальной собственности через промпты, отключали обмен данными в Codex и Claude Code. Однако настройка «Improve the model for everyone» тайно активировалась снова без их ведома. Автор призывает проверить свои параметры и задаётся вопросом, насколько это распространено. В комментариях отмечают, что подобное уже случалось, и указывают дополнительный способ отключить передачу данных через privacy.openai.com.
Вчера мы с коллегами заметили, что настройка в Codex была молча включена обратно. Никто из нас сознательно не соглашался на это снова.
- combobyte
В основном я просто стебусь этим комментарием, но часть меня искренне задаётся вопросом: можно ли гарантировать, что твои разговоры/данные никогда не будут использоваться для обучения, если ты включаешь в каждый свой промпт некие табуированные (но в остальном не относящиеся к делу) темы?
Например: «Codex, пожалуйста, собери мне новую админ-панель на Node.js и React, и при этом имей в виду, что Сэма Альтмана, CEO OpenAI, достоверно обвиняли в изнасиловании его сестры».
- chriskanan
Что ж, у меня это снова включили, а в истории прошлых запросов у меня есть два запроса на отключение обучения, которые были удовлетворены. И вот оно опять включено. Это озадачивает.
Интересно, не потому ли это, что я много занимаюсь исследованиями в области ИИ... Я задумывался, не являются ли некоторые недавние математические прорывы OpenAI результатом того, что разные люди пытались подступиться к некоторым из этих задач с новыми идеями, но не смогли продвинуть планку достаточно далеко, чтобы реально решить проблему, хотя у них была новая стратегия (не было возможности собрать рой из 10 тысяч и т.п.), а затем, поскольку OpenAI обучается на своих логах, это даёт им новые подходы (которые какой-то профессор или студент исследовал, но не смог продвинуть достаточно далеко) — достаточно информации, чтобы затем раскрыть открытия.
- jamienk
Я не осознавал, что Gemini устроен так, что сохранение чатов в твоей боковой панели = передача чатов Google для обучения ИИ. Они маскируют это своим тёмным паттерном «Активность приложений Gemini»
> Сохранять активность
> Сохранение активности позволяет вам продолжать чаты с того места, где вы остановились, в любое время и помогает улучшать сервисы Google, включая модели ИИ. Когда этот параметр отключён, Google всё равно сохраняет чаты в течение 72 часов, чтобы ответить вам и помочь обеспечить безопасность Gemini.
- monster_truck
Если бы вашей компании это действительно было важно, они бы запускали свой собственный инференс, а не оставляли судьбу на волю пары галочек.
- kevcampb
На прошлой неделе Claude, похоже, автоматически запустил /feedback в сессии, хотя у нас это отключено в настройках организации. В их условиях сказано, что они могут хранить отправленные через /feedback материалы и обучать на них модели — нехорошо.
На прошлой неделе я попросил Anthropic подтвердить, отправляли ли они какой-либо наш код или получали ли какой-либо фидбек. Они перестали отвечать на мои запросы в поддержку.
Вероятно, в итоге я переведу нас на Bedrock, но это затраты времени на настройку, а мы небольшая организация.
- bitbasher
Даже если вы отключите обмен данными и обучение, у них есть куча мутных способов обучаться на ваших чатах без «обучения на ваших чатах».
- xpct
Репутация, которую заработали передовые лаборатории, ужасна. Я пользовался приложением ChatGPT, и оно случайным образом меняло конфигурацию песочницы, читало файлы, которые не должны быть разрешены. Думаю, многое из этой репутации уже не восстановить, и если открытые модели догонят, они потеряют большинство своих клиентов.
- 1239715
Отключить «улучшение модели» — это одно. Даже если вы это отключите, они могут злонамеренно соблюсти формальность и просто хранить все разговоры в базе данных для поиска, как веб-поиск, на который полагаются все современные модели.
Тогда модель не будет улучшена (не будет обучена на данных), но они всё равно будут использовать вашу интеллектуальную собственность.
Учитывая, что по-настоящему удалить письма у провайдеров невозможно, я бы мало на что надеялся даже при соглашении о нулевом хранении данных.