ALiBi mit RoPE emulieren: Eine präzise Konstruktion

Emulating ALiBi with Rope

Dieser Artikel zeigt, wie sich die lineare Positionsbias von ALiBi durch ein einzelnes, fest verdrahtetes RoPE-Paar exakt nachbilden lässt. Dazu werden zwei zusätzliche Dimensionen zu Q und K hinzugefügt, deren Projektionen Nullgewichte haben und deren Rotation die gewünschte lineare Abhängigkeit von der Distanz erzeugt. Im Kleinen-Winkel-Limes entspricht die Sinusfunktion der linearen Bias, sodass die Emulation für kleine Phasen exakt ist. Der Autor testet die Methode mit BLOOM-560M und erzielt nahezu identische Ergebnisse. Zudem diskutiert er praktische Einschränkungen, etwa die Wahl der RoPE-Frequenzen und die Begrenzung durch die Basisgröße.