J-Raum-Steering: Konzept-Tokens genügen für einfache Verhaltenssteuerung von LLMs

Extracting Steering Vectors from J space

Darshan Makwana untersucht, ob sich aus dem J-Raum (Jacobian-Lens) von LLMs generelle Steering-Vektoren ableiten lassen, indem man nur einige Konzept-Tokens invertiert. Am Beispiel von Qwen3-1.7B zeigt er, dass diese Methode für einfache Verhaltensweisen wie das Ausgeben in Großbuchstaben erstaunlich gut funktioniert und eine hohe Kosinus-Ähnlichkeit mit teuer gefitteten Vektoren aufweist. Für komplexe Verhaltensweisen wie das Verweigern von Antworten (Refusal) ist sie jedoch anfällig für Halluzinationen und fragil. Der Autor schlägt einen Algorithmus vor, der mehrere Tokens invertiert und mittelt, erreicht aber nicht die Qualität von Abliteration-basierten Vektoren. Die Ergebnisse legen nahe, dass der J-Raum zwar nützlich für einfache Steuerungen ist, aber für komplexe Verhaltensweisen an Grenzen stößt.