Por qué los LLM modernos ya no necesitan decirle a cada token dónde está

Understanding Positional Embeddings in Modern LLMs

Por qué los LLM modernos ya no necesitan decirle a cada token dónde está

Sebastian Raschka recorre cómo los LLM codifican la posición de los tokens: desde las tablas absolutas aprendidas de GPT-2 y las funciones seno y coseno del transformer original hasta RoPE, que inyecta la posición dentro de la atención. Incluye ejemplos visuales, algo de matemática y una implementación en PyTorch, y cierra con un repaso de qué métodos usan los modelos open-weight de 2026, algunos de los cuales omiten por completo la codificación posicional explícita.

Extender el contexto sería muy costoso, ya que la tabla puede volverse enorme: en GPT-2 Medium, la capa de embeddings posicionales representa solo el 0,30 % de los pesos totales con 1.024 posiciones, pero con 100k posiciones superaría el 22 % del modelo.
  1. programjames

    Este artículo solo trata sobre la comprensión de la implementación de los positional embeddings, pero para comprender realmente los positional embeddings hay que entender la teoría. Los positional embeddings son representaciones de grupo. Así es como se encuentran, y también es así como se parametrizan para hacerlos diferenciables/aprendizables. Para dar algunos ejemplos:

    1. Los rotary positional embeddings son representaciones del grupo de traslación. El grupo de traslación n-dimensional ℝⁿ es abeliano, por lo que todas sus representaciones irreducibles son unidimensionales ρ: ℝⁿ → ℂ, especificadas por un vector de momento m: ρₘ(x) = exp(i⟨m, x⟩). Puedes obtener una representación multidimensional eligiendo varios m, que son tus parámetros aprendibles.

    2. Si quisieras que los embeddings RoPE también preservaran la rotación (quizás tengas escenas vistas en ángulos arbitrarios), estarías buscando representaciones del grupo euclidiano especial. Las representaciones irreducibles en cuatro dimensiones son tus partículas familiares: electrones, protones, etc., y en general están parametrizadas por un vector de momento y un vector de espín discreto. Tendrías que hacer algún tipo de proceso de annealing para entrenar el vector de espín (o podrías simplemente hacerlo constante).

    3. Si quieres hacer atención en quadtrees, bueno, ¿cuál es el grupo? Supongamos que cada nodo en el quadtree tiene coordenadas locales escaladas a [0, 1]. Moverse hacia arriba/abajo/a un vecino en el quadtree requiere una transformación afín de las coordenadas locales, que se componen, por lo que podemos etiquetar cada nodo por su afín […]

Más de este día

2026-11-15