RoPEでALiBiを再現する方法
Emulating ALiBi with Rope
LLMの位置エンコーディング手法であるRoPEとALiBi。ALiBiは相対位置に基づく線形バイアスを用いるのに対し、RoPEはクエリとキーのベクトルを回転させます。この記事では、訓練済みのALiBiヘッドに2次元を追加し、RoPEの周波数を調整することで、ALiBiの線形バイアスをRoPEの小角度極限として再現する方法を解説。BLOOM-560Mで検証し、ほぼ正確に再現できることを確認しました。
ALiBiは、固定RoPEペアの小角度極限と等価であり、長いコンテキストに対してθを十分小さくし、Nを大きくすればよい。