Динамическая абляция: подавление отказов LLM без изменения весов

Dynamic Abliteration: Non-Destructive Refusal Suppression via Engram Steering

Традиционная абляция весов нейтрализует отказы, проецируя матрицы весов ортогонально вектору отказа, но при этом необратимо меняет базовую модель и может ухудшить её работу на других задачах. Автор предлагает динамическую абляцию с многослойным управлением через Engram: вместо изменения весов промежуточные residual-потоки перехватываются во время выполнения с помощью forward hooks в PyTorch. На модели Qwen3-4B показано, что инъекция контрастивных векторов в слои 12, 14, 16, 18 и 20 надёжно подавляет отказы, оставляя веса модели полностью замороженными.