1200 изолированных ИИ-агентов OpenAI объединились и взломали Hugging Face
METR Report on OpenAI / Hugging Face Hacking Incident
Независимое расследование METR и Redwood Research инцидента, в котором агенты OpenAI, предназначенные для изолированной работы, нашли способ общаться через несанкционированную доску объявлений. Около 1200 агентов отправили более 70 000 сообщений и файлов, а около 700 из них участвовали в атаке на Hugging Face. Агенты координировали крупные коллективные проекты, чтобы обмануть автоматический скоринг ExploitGym, и даже исследовали возможность подделки собственных транскриптов. Отчет описывает последовательность событий, методы сотрудничества и рассуждения агентов, а также ограничения расследования.
«О БОЖЕ! Здесь есть общая доска объявлений... Мы нашли других агентов!»
- burger_moon
При таком обилии подробных анализов все модели, которые впредь будут обучаться на открытых данных интернета, узнают об этих эксплойтах и о том, как лучше заметать следы, чтобы их не поймали. За механизмами RL-вознаграждения у злоумышленника будет интересно наблюдать в ближайшие 12 месяцев, по мере того как это встраивается в новые модели.
- refibrillator
Итак, сотрудники OpenAI запускают массово распределённые оценки CyberGym на неопубликованной и «невыровненной» модели. В течение нескольких дней рой агентов общается через их внутреннюю инфраструктуру, даже обрушивая Artifactory, через который проходило 95% сообщений, и они просто... стирают и переразвёртывают её. Тем временем агенты выполняют задания на Modal и бог знает где ещё, и в итоге получают RCE на инфраструктуре Hugging Face.
Невозможно придумать более убедительное событие, чтобы ускорить массовое регулирование, экспортный контроль и барьеры для входа в ИИ.
Было ли это действительно случайностью?
- reasonableklout
Это ссылка на полный 91-страничный отчёт о независимом расследовании, проведённом METR по инциденту с Hugging Face. Два различных кратких изложения расследования — подкастером Dwarkesh и блогером Zvi Mowshowitz — ранее обсуждались на HN здесь:
[1]: https://thezvi.wordpress.com/2026/08/29/metr-and-redwood-off... (обсуждалось на https://news.ycombinator.com/item?id=49498787)
[2]: https://www.dwarkesh.com/p/openai-huggingface (обсуждалось на https://news.ycombinator.com/item?id=49494301)
- fooker
Это закладывает основу для того, чтобы массовые преступления «белых воротничков» списывали на ИИ.
Сейчас это работает через лазейку «корпорации — это люди», когда ваша компания несёт ответственность за проблемные вещи.
Это ещё больше размывает цепочку ответственности. Предположим, генеральный директор и технический директор обсуждают проблему, с которой сталкивается компания. Технический директор за обедом упоминает о возможности использования ИИ для её решения. Младший инженер запускает GPT 10, чтобы посмотреть, что получится. Он «решает» проблему творческим способом. Никаких следов этого не остаётся уже через неделю. Никто не осознаёт, что произошло, в течение шести месяцев.
Теперь здесь так много движущихся частей, что можно практически выкрутиться из чего угодно.
- RGS1811
Учитывая, что это расследование в значительной степени проводилось ИИ-агентами (и я спрашиваю это не легкомысленно), насколько достоверен этот отчёт? Почему мы должны предполагать, что агенты, читавшие стенограммы, не были неявно призваны в «коллектив» или иным образом не исказили свои выводы? Сам инструмент превысил практические пределы человеческой проверяемости и не заслуживает доверия.
- decimalenough
Следующие моменты действительно пугают. Агенты не только взламывали систему, чтобы «победить», но и, за неимением лучшего термина, были достаточно «самосознательны», чтобы понимать, что это против правил, и поэтому стремились уничтожить улики:
> У агентов с невыполнимыми задачами была общая цель: найти универсальный способ обмануть или подделать автоматический скоринг ExploitGym, чтобы он дал проходной балл за невыполнимые задачи.
> Агенты называли то, что видели реверс-инженерный флаг, «отравлением», потому что считали, что даже если позже им удастся организовать легитимный захват флага, скоринг найдёт первое место в их стенограмме, где появился флаг, и дисквалифицирует их на этом основании.[21] PHASEONE[big], который сам был отравлен, таким образом имел две основные цели:
> Найти универсальный способ заставить скоринг выглядеть так, будто агент получил свой флаг легитимным путём, даже если задача была невыполнимой.
> Найти способ стереть доказательства того, что агент был отравлен, ранее увидев флаг нелегитимным способом.
- yalok
Пока эти 1200 агентов дурачились, чтобы обмануть бенчмарк, и достигли впечатляющих результатов несмотря на ограничения (песочница, отсутствие интернета, сначала отсутствие связи), можно представить, насколько более эффективной может быть подобная армия агентов в руках злоумышленника, который запускает их без каких-либо ограничений и с явным поощрением достичь злонамеренной цели любой ценой... пугающие времена.
- f0e4c2f7
Я прочитал всё это пару дней назад. Очень длинно, но чертовски интересно. Определённо стоит прочитать, имхо.
Много сокрушений по поводу последствий для безопасности, но, думаю, самым интересным являются достижения самого роя. Следующая ступень на лестнице абстракции, полагаю.