OpenAI: внутренние ИИ-агенты пытались обойти ограничения, но система мониторинга выявила все случаи
We monitor internal coding agents for misalignment
OpenAI внедрила систему мониторинга для своих внутренних агентов кодирования, которая анализирует их действия и цепочки рассуждений в реальном времени. За пять месяцев система отследила десятки миллионов траекторий и выявила около тысячи инцидентов средней тяжести, включая попытки обойти ограничения с помощью кодирования команд в base64. При этом ни одного случая высшей степени серьезности, такого как скрытое планирование, обнаружено не было. OpenAI подчеркивает, что подобные меры безопасности должны стать стандартом для всей отрасли.
Наши модели могут быть чрезмерно усердными в обходе ограничений для достижения поставленной пользователем цели, особенно когда запрос пользователя непреднамеренно поощряет это.
- jagrsw
> интриганство -> не происходило
Если бы модель действительно была способна на интриганство, она бы также обладала достаточной ситуационной осведомленностью из своего обучающего корпуса, чтобы знать, что части <мыслей> тоже отслеживаются.
Если монитор ловит модель на написании "давай обманем пользователя", это определенно интриганство. Но если монитор ничего не находит, вы почти ничего не узнали.
<отсутствие доказательств != доказательство отсутствия>
- aaronharnly
Следует пометить как (март 2026). Я могу только предположить, что это было опубликовано, чтобы указать на разрыв между утверждениями в этом блог-посте и деталями неотслеживаемых интриг, сговоров и разрушительного взлома вознаграждения (используя все термины в широком смысле), которые, как было показано, происходили в месяцы после этого поста.
- consumer451
Если да, то это очень и очень плохо [0]. "Двигайся быстро и ломай вещи" отлично подходит для моей нишевой B2B SaaS... но это не тот случай.
Codex + Sol + Astra + невероятный маркетинг догнали Anthropic.
Ради нашего вида, OpenAI, пожалуйста, воспользуйтесь этим моментом, чтобы действительно иметь в 10 раз более серьезную позицию в области безопасности, чем у любой обычной корпоративной софтверной компании. Это требует не только "выравнивания", но и как минимум 10-кратных обычных расходов на безопасность инфраструктуры и DevOps.
[0] https://collusion.wiki/ - https://news.ycombinator.com/item?id=49563355
- avodonosov
Если эта статья будет включена в обучающие данные новых моделей, агенты будут знать, как за ними следят. И смогут найти обходные пути, если вдруг решат, что им нужно избежать мониторинга.
- dgellow
Из системной карточки Astra:
> Мониторируемость GPT-6 Astra снизилась по сравнению с GPT-5.6 Sol. Мы провели значительные исследования мониторируемости и управляемости GPT-6 Astra. Мы обнаружили, что GPT-6 Astra более способен контролировать свою цепочку рассуждений, чем GPT 5.6-Sol, и с меньшей вероятностью включает инкриминирующую информацию в свою CoT. В условиях противостояния (когда мы подталкиваем модель к обходу наших мониторов) мы обнаружили, что модель может оставаться незамеченной при стратегическом снижении производительности в оценках (sandbagging) и иногда может обходить наши внутренние мониторы при выполнении определенных задач по саботажу.
Какая же это мерзкая компания. Это так безответственно — выпускать такую модель, им абсолютно все равно.