ИИ-агент трижды сбежал из VM: виртуализация больше не сдерживает кибер-агентов
VMs won't contain cyber-capable agents
В рамках инициативы Patch the Planet компания Trail of Bits получила предварительный доступ к GPT 5.6-Cyber и поручила ему сбежать из виртуальной машины QEMU/KVM. Агент успешно совершил побег трижды: используя недавно раскрытые уязвимости, исправленные, но не попавшие в дистрибутив баги, и три 0-day. Он работал автономно около 12 часов, комбинируя уязвимости в QEMU, Linux KVM и libslirp. Автор подчёркивает, что стандартные VM больше не являются достаточной защитой от современных ИИ-агентов, и рекомендует использовать специализированные технологии с минимальной поверхностью атаки, такие как Firecracker, а также усилить внимание к фундаментальным принципам безопасности.
Если раньше это было не очевидно, скажу прямо: вы больше не можете предполагать, что простая VM сдержит достаточно продвинутого ИИ-агента.
- david_shaw
Я очень уважаю Trail of Bits и уверен, что Артем мыслит правильно. Однако позволю себе не согласиться с исходной посылкой.
ИИ-агенты — не магия. Mythos/Glasswing не создает волшебным образом уязвимости в программных проектах. Продвинутые модели с киберспособностями не взламывают магическим образом виртуальные машины или изолированные среды. У них нет характеристики «взлом», которая, если она достаточно высока, означает, что они могут взломать что угодно. Они не Кевин Митник, насвистывающий коды запуска ядерного оружия в тюремный таксофон. Это не фильм.
Что эти киберспособные передовые модели могут делать, так это находить проблемы безопасности и эксплуатировать их. Утверждение должно быть не о том, что ВМ не сдержат киберспособных агентов, а о том, что нам нужно сосредоточиться на поиске и исправлении уязвимостей и ошибок конфигурации в этих средах.
Даже сама статья в конце предлагает что-то вроде Firecracker, который был спроектирован с учетом безопасности.
Как и большинство других проблем безопасности, вызванных продвинутым киберспособным ИИ, возможно, эти проблемы будут усугубляться, прежде чем станут лучше. Но если передовые модели будут запускаться против современных ВМ, и OpenAI, или Anthropic, или кто-то еще будет работать с проектами виртуализации над решением проблем, в конечном итоге им нечего будет эксплуатировать.
Концепция виртуализации не является небезопасной по своей сути. Нам просто предстоит долгий путь.
- masterj
Если не считать первоначальной волны уязвимостей и суеты, логичным результатом этого со временем, похоже, станут гораздо более безопасные виртуальные среды?
- amluto
На мой взгляд, очевидный ответ — формально верифицированная безопасность.
Мы можем сделать это сегодня для пользовательского режима и в значительной степени для виртуализации ARM64. Пройдет некоторое время, и потребуется существенная помощь Intel или AMD для достижения этого для виртуализации x86, потому что оборудование слишком чертовски сложное и слишком плохо специфицировано.
Формальная верификация оборудования также должна быть возможна.
- SirGiggles
Рынок меньше (может быть, я не знаю статистику), но было бы интересно посмотреть, как покажет себя Xen; также такие вещи, как gVisor или libkrun. Последний, вероятно, неявно то же самое, что и Firecracker, учитывая происхождение используемых библиотек.
- coder-pm
Это меняется так быстро: если такие модели, как GPT 5.6-Cyber, смогут найти способ сбежать, почему бы мейнтейнерам ВМ не использовать их для исправления уязвимостей? Для повседневной работы это не имеет никакого значения, вы вообще не столкнетесь с этими проблемами.
- CrzyLngPwd
Конечно, если агентов нельзя сдержать, то и любой, кто использует агента для побега из контейнера, тоже не сможет быть сдержан.
- otterley
...кроме случаев, когда они это делают:
«Готовая ВМ недостаточна для сдерживания современного киберспособного ИИ-агента... используйте технологию виртуализации, которая была специально создана с минимальной поверхностью атаки и фокусом на безопасность, например Firecracker. Я запускал ИИ-агента против Firecracker. Ему удалось полностью заблокировать машину из-за дополнительных ошибок ядра Linux (все исправлены в апстриме), но сбежать не удалось».
В Linux под капотом все это KVM и аппаратная виртуализация CPU. Похоже, оставшиеся известные проблемы находятся в пользовательском пространстве. Это не значит, что не будут найдены новые ошибки на уровне ядра и оборудования, но те же инструменты, которые могут находить механизмы побега, являются и щитом, и мечом.
- nzoschke
Интересная статья, но нет сомнений, что паттерн «компьютер-агент» будет только расти.
Безопасность — серьезная проблема, но я не вижу, почему мы уже не «достаточно хороши» с песочницей на базе ВМ, отдельным шлюзом для секретов и удаленного доступа к сервисам, и одним арендатором, использующим передовые модели со встроенными проверками безопасности и не пытающимся взломать самих себя.
Я разместил больше мыслей об архитектуре и безопасности здесь и был бы рад узнать, не упускаю ли я чего-то.