J空間からステアリングベクトルを抽出する：トークンだけでLLMの挙動を操る新手法

Extracting Steering Vectors from J space

Jacobian空間（J空間）はLLMの中間活性化を言語化し、モデルが次に何を言おうとしているかを解釈する手法として注目されています。本記事では、このJレンズを逆転させて、概念を表すトークンから直接ステアリングベクトルを導出する一般的な方法を探ります。Qwen3-1.7Bを用いた実験では、全大文字出力のような単純な挙動に対しては、トークンのペア（例：“AND”と“and”）の活性化差を平均することで、高価なファインチューニングで得たベクトルと同等の効果が得られることを確認。しかし、拒否行動のような複雑な挙動では、単一または複数のトークンの逆変換では幻覚や不安定性が生じ、従来のアブリテレーション法には及ばないことが明らかになりました。J空間の可能性と限界を示す実証的な試みです。