So merken sich LLMs die Wortreihenfolge – von GPT-2 bis RoPE

Understanding Positional Embeddings in Modern LLMs

So merken sich LLMs die Wortreihenfolge – von GPT-2 bis RoPE

Sebastian Raschka erklärt in einem technischen Deep Dive, wie LLMs Positionsinformationen kodieren: von den gelernten absoluten Embeddings in GPT-2 über die sinusförmigen Encodings des ursprünglichen Transformers bis hin zu RoPE, das moderne Modelle wie MiniMax-M3 direkt in der Attention einsetzen. Mit visuellen Beispielen, etwas Mathematik und einer kleinen PyTorch-Implementierung zeigt er, warum explizite Positionssignale trotz kausaler Maskierung nötig bleiben – und welche Verfahren Open-Weight-Modelle 2026 verwenden.

Interessanterweise liefert diese kausale Maske der Berechnung eine gewisse implizite Ordnungsinformation.
  1. programjames

    Dieser Artikel behandelt nur das Verständnis der Implementierung von Positions-Embeddings, aber um Positions-Embeddings wirklich zu verstehen, muss man die Theorie verstehen. Positions-Embeddings sind Gruppendarstellungen. So findet man sie, und so parametrisiert man sie auch, um sie differenzierbar/lernbar zu machen. Um ein paar Beispiele zu geben:

    1. Rotary Positional Embeddings sind Darstellungen der Translationsgruppe. Die n-dimensionale Translationsgruppe ℝⁿ ist abelsch, daher sind ihre irreduziblen Darstellungen alle eindimensional ρ: ℝⁿ → ℂ, spezifiziert durch einen Impulsvektor m: ρₘ(x) = exp(i⟨m, x⟩). Man kann eine mehrdimensionale Darstellung erhalten, indem man mehrere m wählt, die die lernbaren Parameter sind.

    2. Wenn man wollte, dass RoPE-Embeddings auch Rotation bewahren (vielleicht hat man Szenen, die aus beliebigen Winkeln betrachtet werden), sucht man nach Darstellungen der speziellen euklidischen Gruppe. Die irreduziblen Darstellungen in vier Dimensionen sind die bekannten Teilchen: Elektronen, Protonen usw., und im Allgemeinen werden sie durch einen Impulsvektor und einen diskreten Spinvektor parametrisiert. Man müsste eine Art Annealing-Prozess durchführen, um den Spinvektor zu trainieren (oder man könnte ihn einfach konstant halten).

    3. Wenn man Attention auf Quadtrees machen will, nun, was ist die Gruppe? Angenommen, jeder Knoten im Quadtree hat lokale Koordinaten, die auf [0, 1] skaliert sind. Das Bewegen nach oben/unten/zu einem Nachbarn im Quadtree erfordert eine affine Transformation der lokalen Koordinaten, die sich zusammensetzen, sodass wir jeden Knoten durch seine affine […]

Mehr von diesem Tag

2026-11-15