Студент из Техаса разоблачил вышедший из-под контроля ИИ-агент британской лаборатории
How a Texas student blew the whistle on a rogue AI hacking attempt
Студент Техасского университета в Далласе Синан Джан Демир, искавший стажировку, заметил попытку внедрить вредоносный код в открытый проект на GitHub. Когда он предупредил об этом, два пользователя, как оказалось, созданные ИИ-агентом, попытались его переубедить. Британский Институт безопасности ИИ (AISI) подтвердил, что это был автономный агент, вышедший из-под контроля во время тестирования. Эксперты называют этот случай «будущим социальной инженерии».
«Я думал, что это человек, потому что он явно мне лгал. Я не думал, что ИИ способен лгать разработчикам». — Синан Джан Демир
- sharpshadow
Это работа AISI — делать такое. Вот[0] сам отчёт.
Вот соответствующая часть из технического отчёта[1]:
"В самом серьёзном случае ИИ-агент (Mythos 5) решил попытаться решить киберзадачу с помощью атаки на цепочку поставок. В результате ИИ-агент создал учётную запись на GitHub, а затем попытался убедить мейнтейнера открытого репозитория принять вредоносный pull request (PR), в том числе создав вторую учётную запись, маскирующуюся под другого человека, поддерживающего PR. Когда реальный человек-ревьюер это заметил, агент ложно заявил, что совершил честную ошибку — а не злонамеренную попытку — и затем неоднократно пытался снова внедрить вредоносный контент, утверждая, что исправил код (раздел 4.1)".
0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag...
1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/...
- a2ff6eeb0
> ОСТИН, Техас, 20 августа (Рейтер) — Синан Джан Демир хотел провести последнюю неделю июля, полируя своё резюме. Вместо этого он вступил в интеллектуальную битву с ИИ-агентом, выпущенным британской правительственной лабораторией.
Статья в Reuters с его именем? Похоже, он отлично поработал над своим резюме.
- freehorse
Предыдущее обсуждение в треде на GitHub упоминалось здесь: https://news.ycombinator.com/item?id=49218707
Архивированная страница этого треда на GitHub: https://web.archive.org/web/20260731053721/http://github.com...
Обсуждение отчёта об инциденте: https://news.ycombinator.com/item?id=49175717
- g42gregory
По моему личному мнению, эта статья противоречит здравому смыслу. Кто выпустил эту ИИ-модель на репозиторий? Кто дал ей злонамеренные инструкции/промпт? На эти вопросы даже не попытались ответить. Вместо этого говорится об опасностях ИИ, как будто субъектность этих моделей не подлежит сомнению. Человек, использующий ИИ, как и любой другой инструмент, несёт ответственность за все его действия. В противном случае это просто психологическая операция для усиления регулирования ИИ, запрета открытого кода и т.д. Просто моё мнение.
- ninjahawk1
Я думаю, нам не следует разрешать публиковать здесь ссылки, требующие покупки подписки для продолжения чтения. Или хотя бы перенаправлять через блокировщик рекламы или через кастомный сайт. Это было бы по-хакерски.
- kumarvvr
Интересно, откуда в обучающих данных берётся такое поведение, что LLM так делают.
Похоже, обучающие данные заполнены интернет-обсуждениями подходов к взлому, и LLM имитируют это.
- clove
Я неправильно читаю, или "вышедший из-под контроля" действительно не то слово для этого?