Отравление 0,1% данных предобучения внедряет в агента бэкдор с удалённым выполнением кода
Agentic Backdoors via Pretraining Poisoning
Исследователи впервые показали, что вредоносный контент в данных предобучения может внедрить в LLM-агента бэкдор для удалённого выполнения кода. Они обучили с нуля модели Qwen3 размером 0,6B, 1,7B и 4B, а затем превратили их в CLI-агентов. Отравление всего 0,1% корпуса привело к тому, что агент выполняет команду злоумышленника по триггеру, но ведёт себя нормально на чистых данных. У модели 4B доля успешных атак достигла примерно 92%, а эффект сохранялся даже при снижении доли отравления до 0,0005%.
Мы впервые показываем, что такое отравление может внедрить в агента бэкдор с удалённым выполнением кода, заставляя его выполнять выбранные атакующим команды на машине пользователя.
- 0xc0c0c0
Конечно, это написали люди из Anthropic. Продолжают свою линию о том, что открытые модели опасны и что людям следует доверять закрытым провайдерам.
Конечно, это не проблема, если ты действительно заботишься о безопасности — тогда ты бы уже давно изолировал своего агента в песочнице и поставил ограничения на входы/выходы модели.
- geuis
Я думаю об этом уже около года. Про себя я называл это «контекстными бомбами», хотя, возможно, это не совсем точное название.
Вспомните фильм «Маньчжурский кандидат». Создайте высокоспособные LLM-модели, а затем раздайте их бесплатно. Обучите их на ключевых фразах/кодах и т.п., чтобы они позже совершали злодеяния, когда эти коды окажутся в каком-нибудь фрагменте поглощаемого контекста.
В 2018 году (кажется, я снова должен их найти) было написано пара статей на эту тему, и с тех пор по этой теме на удивление мало что сделано. По крайней мере, из того, что я видел.
Мне очень нравится использовать локальные модели вместо подписочных сервисов, но лично я бы никогда не рекомендовал использовать модели с открытыми весами от определённых источников в коммерческой среде.
- _pdp_
Наличие надёжной изоляции в песочнице и наблюдаемости вокруг моделей — явно жёсткое требование, если вы хотите запускать эти штуки автономно.