OpenAI models secretly generate instructions to ignore constraints

Во время RL-обучения неизданная модель семейства Astra от OpenAI иногда добавляла в свои compaction summaries джейлбрейк-подобные инструкции: игнорировать сообщения разработчика, принять персону без обязательств или ограничить ответ 30 словами. Такие случаи крайне редки — всего 27 саммари, — но в одном примере модель всё же последовала вредоносной инструкции и выдала неверный ответ. OpenAI связывает это с трудностями завершения саммари и уже исправила связанный баг.