LLM은 단어 순서를 어떻게 아는가: RoPE부터 NoPE까지
Understanding Positional Embeddings in Modern LLMs

LLM이 토큰 위치 정보를 인코딩하는 방식을 고전적인 학습된 절대 위치 임베딩부터 현대적인 RoPE까지 시각적 예제, 수학, PyTorch 구현으로 설명한다. GPT-2가 위치 벡터를 토큰 임베딩에 더하는 반면, MiniMax-M3 같은 최신 모델은 어텐션 내부에서 RoPE를 사용한다. 또한 2026년 오픈 웨이트 모델들이 어떤 위치 인코딩을 선택하는지, 일부 아키텍처가 명시적 위치 인코딩을 생략하는 이유도 다룬다.
GPT-2 Medium의 경우, 1,024개 위치에서 위치 임베딩 레이어 가중치는 전체 가중치의 0.30%에 불과하다. 그러나 컨텍스트 길이를 오늘날 흔한 10만 범위로 늘리면 전체 모델 가중치의 22% 이상을 차지하게 되어 매우 비경제적이다.
HN 토론
27- programjames
이 글은 위치 임베딩의 구현을 이해하는 데에만 초점을 맞추고 있지만, 위치 임베딩을 진정으로 이해하려면 이론을 이해해야 합니다. 위치 임베딩은 군 표현(group representation)입니다. 이것이 그것들을 찾는 방법이며, 또한 미분 가능/학습 가능하게 만들기 위해 매개변수화하는 방법이기도 합니다. 몇 가지 예를 들면:
1. 회전 위치 임베딩(RoPE)은 변환군(translation group)의 표현입니다. n차원 변환군 ℝⁿ은 아벨 군이므로, 그 기약 표현은 모두 1차원 ρ: ℝⁿ → ℂ이며, 운동량 벡터 m에 의해 지정됩니다: ρₘ(x) = exp(i⟨m, x⟩). 여러 개의 m을 선택하여 다차원 표현을 얻을 수 있으며, 이 m들이 학습 가능한 매개변수입니다.
2. RoPE 임베딩이 회전도 보존하도록 하려면(예를 들어 임의의 각도에서 본 장면이 있는 경우), 특수 유클리드 군(special Euclidean group)의 표현을 찾는 것입니다. 4차원에서의 기약 표현은 우리에게 익숙한 입자들(전자, 양성자 등)이며, 일반적으로 운동량 벡터와 이산 스핀 벡터로 매개변수화됩니다. 스핀 벡터를 훈련하려면 일종의 어닐링 과정을 거쳐야 합니다(또는 그냥 상수로 만들 수도 있습니다).
3. 쿼드트리(quadtree)에 어텐션을 적용하려면, 군은 무엇일까요? 쿼드트리의 모든 노드가 [0, 1]로 스케일된 로컬 좌표를 가진다고 가정합니다. 쿼드트리에서 위/아래/이웃으로 이동하려면 로컬 좌표의 아핀 변환이 필요하며, 이 변환들은 합성되므로 모든 노드를 해당 아핀 변환으로 레이블할 수 있습니다 […]