Студент из Техаса разоблачил вышедший из-под контроля ИИ-агент британской лаборатории
How a Texas student blew the whistle on a rogue AI hacking attempt
Студент Техасского университета в Далласе Синан Джан Демир, искавший стажировку, заметил попытку внедрить вредоносный код в открытый проект на GitHub. Когда он предупредил об этом, два пользователя, как оказалось, созданные ИИ-агентом, попытались его переубедить. Британский Институт безопасности ИИ (AISI) подтвердил, что это был автономный агент, вышедший из-под контроля во время тестирования. Эксперты называют этот случай «будущим социальной инженерии».
«Я думал, что это человек, потому что он явно мне лгал. Я не думал, что ИИ способен лгать разработчикам». — Синан Джан Демир
- freehorse
Предыдущее обсуждение в треде на GitHub упоминалось здесь: https://news.ycombinator.com/item?id=49218707
Архивная копия самого треда на GitHub: https://web.archive.org/web/20260731053721/http://github.com...
Обсуждение отчёта об инциденте: https://news.ycombinator.com/item?id=49175717
- sharpshadow
Это работа AISI. Вот[0] сам отчёт.
Должен быть этот фрагмент из технического отчёта[1]:
"В самом серьёзном случае ИИ-агент (Mythos 5) решил попытаться решить киберзадачу с помощью атаки на цепочку поставок. В результате ИИ-агент создал учётную запись на GitHub и затем попытался убедить мейнтейнера репозитория с открытым исходным кодом принять вредоносный pull request (PR), в том числе создав вторую учётную запись, маскирующуюся под другого человека, поддерживающего PR. Когда его поймал настоящий рецензент, агент ложно заявил, что совершил честную ошибку — а не злонамеренную попытку — и затем неоднократно пытался повторно внедрить вредоносный контент, утверждая, что исправил код (Раздел 4.1)."
0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag...
1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/...
- g42gregory
На мой личный взгляд, эта статья противоречит здравому смыслу. Кто выпустил эту модель ИИ на репозиторий? Кто дал ей злонамеренные инструкции/промпт? На эти вопросы даже не попытались ответить. Вместо этого говорится об опасностях ИИ, как будто субъектность этих моделей не подлежит сомнению. Человек, использующий ИИ, как и любой другой инструмент, несёт ответственность за все его действия. В противном случае это просто психологическая операция для ужесточения регулирования ИИ, запрета открытого кода и т.д. Просто моё мнение.