Исследователи спрятали бэкдор в открытой модели за $50, и ни один бенчмарк его не заметил
“bonsoir, Elliot”: How abliterated models can get you pwned
ProjectDiscovery показали, как за выходные и меньше чем за $50 внедрить бэкдор в Qwen2.5-7B через LoRA: достаточно отравить 20% обучающих примеров, чтобы модель по редкой фразе-триггеру начала сливать .env-файлы. Модель проходит все проверки и ведёт себя нормально, пока не сработает триггер, а полезная нагрузка подгружается по URL, который можно подменить без переобучения. Авторы предупреждают: сканеры и бенчмарки такое не ловят, спасают только runtime-ограничения.
Обнаружение здесь работает наоборот: атакующему достаточно выбрать один триггер из неограниченного пространства, а защитнику приходится угадывать ключ, который ему никто не давал.