OpenAI снизила успех атак на извлечение reasoning с 54% до 0,2%
Combatting Adversarial Distillation
OpenAI рассказывает, как борется с adversarial distillation — неавторизованным обучением других моделей на выходах фронтирных моделей, что позволяет обойти их защитные механизмы. В GPT-6.2 Astra и Sol компания усилила защиту цепочек рассуждений: в адаптивном тесте успешность атак на извлечение reasoning из предыдущего запроса упала с 54,0% до 0,2%. Защита выстроена на нескольких уровнях — adversarial-тестирование, классификаторы, API-ограничения и расследование скоординированных кампаний.
Средняя доля успешных атак упала с 54,0% против GPT-6 Astra с исходными защитными механизмами до 0,2% против GPT-6.2 Astra с обновлёнными.
- WiSaGaN
Просто грустно, что эта компания называется OpenAI, а потом выпускает такое. Вы обучили все свои модели, ничего не отдав авторам, программистам, режиссёрам, математикам. И вы лишаете их работы. И в конце концов вы хотите убедиться, что только у вас есть такие модели. Вам, ребята, не поздоровится в человеческой истории.
- aenis
Я ожидаю, что если эти методы окажутся успешными, это будет иметь тот же эффект, что и хранение ценностей в сейфе в районе с высоким уровнем преступности. Не успеешь оглянуться, как кто-то приставит пистолет к твоей голове и попросит ключи от сейфа. Это лишь вопрос времени, когда спонсируемые государством группировки эксфильтруют веса какой-нибудь ведущей модели совершенно преступными способами. Хотелось бы надеяться, что эти компании хорошо это осознают, но преступникам достаточно добиться успеха один раз, а стимулы исчисляются миллиардами.
- bob1029
Дистилляция бывает разной.
Гипотетически я могу обернуть их чёрный ящик своим чёрным ящиком и логировать каждый входящий и исходящий токен в рамках обычной деловой активности. Это может быть колоссальный объём данных. Я могу развернуться и обучить свою собственную модель на этих данных. Как кто-то это обнаружит? Токены рассуждений — это лишь часть рва.
- pacificmaelstrm
«Жизнь найдёт путь» — Парк юрского периода
- samrus
Лицемеры