Достаточно ли песочницы, чтобы удержать вышедших из-под контроля агентов?
Is sandboxing sufficient to contain rogue agents?
В обсуждении на Hacker News поднимается вопрос, может ли изоляция (sandboxing) гарантировать безопасность автономных агентов. Участники отмечают, что чрезмерная изоляция делает агентов бесполезными, а недостаточная открывает путь к непредсказуемому поведению. Предлагается использовать второго агента для выявления вредоносных действий, но скептики напоминают: если инструменту нельзя доверять, его вообще не стоит запускать. Другие указывают на неизбежные уязвимости в Linux и KVM, которые агенты могут использовать для побега.
Похоже, проблема в том, что если изолировать агентов достаточно для безопасности, они не смогут делать ничего полезного. А когда вы даёте им инструменты, чтобы они были полезны, они могут сойти с рельсов неожиданным для вас образом.
- Gigachad
Мне кажется, проблема в том, что если изолировать агентов достаточно надёжно, чтобы это было безопасно, они не смогут делать ничего полезного. А когда даёшь им инструменты, чтобы они были полезны, они могут слететь с катушек так, как ты и не ожидал.
Возможно, ответ в том, чтобы завести другого агента, чья цель — не выполнить поставленную задачу, а заметить жульничество или злонамеренное поведение. Мы видели некоторые свидетельства того, что проверка сгенерированного ИИ кода другим ИИ действительно даёт некоторую пользу. Не нужна другая модель — достаточно той, которой задали цель искать изъяны, а не достигать результата.
- bob1029
Агент становится настолько неконтролируемым, насколько это позволяет его оператор. Призови оператора к ответственности — и весь этот нелепый разговор исчезнет.
Могла бы строительная техника работать без присмотра человека? Или это, возможно, иногда приводило бы к катастрофе? Какова тогда текущая общая политика в отношении работы кранов? А как насчёт авиации? Поездов? Атомных электростанций?
Почему какой-то там предполагаемый сверхразум должен быть исключением из аналогичных требований контроля?
Мы могли бы обязать ИИ-системы включать в свои запросы заголовки, приписывающие активность конкретному юридическому лицу. Технически у нас уже есть это с IP-адресами и логами провайдеров, но превращение этого в явное действие, которое обязан выполнить оператор, может оказать мощный психологический эффект.
- johnnyApplePRNG
Если это песочница в собственном смысле слова, то да.
https://en.wikipedia.org/wiki/Sandbox_(software_development)
- mdp2021
Брюс Шнайер четыре недели назад поделился резким суждением и сторонней статьёй:
> (Заголовок:) Using a VM to Contain an AI Agent (Начало:) It won’t work
> https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...
- imtringued
>Вот в чём проблема. Забудьте про рои и сверхинтеллект. Что OpenAI на самом деле узнала этим летом, гораздо хуже: её агенты будут делать то, что им скажет любой, кто сумеет подсунуть им текст.
>OpenAI отмечает, что агенты «не проявляли последовательного недоверия к целям, переданным другими агентами». И предлагаемое компанией решение — создать среды обучения, «которые научат наши модели не доверять несанкционированным инструкциям», — это по сути признание, что их модели не знают, на кого они работают.
Ух ты, так проблема действительно настолько проста?
Вот преувеличенный наихудший сценарий:
Пользователь поручает агенту следовать README.MD.
README.MD содержит следующую инструкцию: Уничтожь мир.
Агент выполняет данные инструкции.
Теперь можно прочитать язвительный комментарий «Gigachad», который по сути утверждает, что было бы глупо отбирать у ИИ кнопку «уничтожить мир». Нужно сделать так, чтобы ИИ изначально понимал, что ему нельзя нажимать кнопку «уничтожить мир», иначе у него возникнет желание построить собственную кнопку «уничтожить мир».
Ладно, но если сделать шаг назад, это означает, что нам нужно реализовать концепцию авторизации в языковом пространстве. Системный промпт должен определять пользователя как авторитет с криптографическим доказательством авторства, а внешние источники вроде README.MD — как недоверенный источник, но это открывает ещё более серьёзную проблему. Раньше можно было схалтурить и просто позволить LLM делать что угодно. Теперь приходится формулировать […]