Почему LLM всё ещё нужны позиционные эмбеддинги — и как устроен RoPE
Understanding Positional Embeddings in Modern LLMs

Себастиан Рашка разбирает, как LLM кодируют порядок токенов: от абсолютных обучаемых векторов GPT-2 и синусоидальных кодировок из «Attention Is All You Need» до RoPE, который MiniMax-M3 и другие современные модели применяют внутри внимания в каждом блоке. На визуальных примерах, с небольшим количеством математики и мини-реализацией на PyTorch показано, почему явная позиция всё ещё важна, хотя причинная маска уже даёт неявный порядок, и какие методы выбирают открытые модели 2026 года.
Причинная маска определяет, какие токены доступны, и даёт неявную информацию о порядке, но она не отличает расстояние в одну позицию от расстояния в десять.
- programjames
Эта статья только о понимании реализации позиционных эмбеддингов, но чтобы действительно понять позиционные эмбеддинги, нужно понимать теорию. Позиционные эмбеддинги — это представления групп. Именно так их находят, и именно так их параметризуют, чтобы сделать дифференцируемыми/обучаемыми. Приведу несколько примеров:
1. Вращательные позиционные эмбеддинги — это представления группы трансляций. n-мерная группа трансляций ℝⁿ абелева, поэтому все её неприводимые представления одномерны: ρ: ℝⁿ → ℂ, задаваемые вектором импульса m: ρₘ(x) = exp(i⟨m, x⟩). Можно получить многомерное представление, выбрав несколько m, которые и будут вашими обучаемыми параметрами.
2. Если вы хотите, чтобы RoPE-эмбеддинги также сохраняли вращение (возможно, у вас есть сцены, рассматриваемые под произвольными углами), вам нужны представления специальной евклидовой группы. Неприводимые представления в четырёх измерениях — это знакомые вам частицы: электроны, протоны и т.д., и в общем случае они параметризуются вектором импульса и дискретным вектором спина. Вам придётся применить какой-то процесс отжига, чтобы обучить вектор спина (или можно просто сделать его константой).
3. Если вы хотите делать внимание на квадродеревьях, то какая группа? Предположим, каждая вершина квадродерева имеет локальные координаты, масштабированные в [0, 1]. Перемещение вверх/вниз/к соседу в квадродереве требует аффинного преобразования локальных координат, которые композируются, поэтому мы можем пометить каждую вершину её аффин […]