LLMの位置埋め込みを根本から理解する——RoPEの仕組みと最新モデルの選択

Understanding Positional Embeddings in Modern LLMs

LLMの位置埋め込みを根本から理解する——RoPEの仕組みと最新モデルの選択

LLMがトークンの位置情報をどう扱うかを、古典的な絶対位置埋め込みからRoPEまで視覚的な例とPyTorch実装で解説。GPT-2が学習済み位置ベクトルを加算するのに対し、MiniMax-M3など最新モデルはアテンション内でRoPEを使う。因果マスクだけでも暗黙の順序情報は得られるが、位置の間隔を区別できないため明示的な手法が依然重要だ。2026年のオープンウェイトモデルの選択傾向も紹介する。

因果マスクはどのトークンにアクセスできるかを決め、暗黙の順序情報を与えるが、例えば1つ分の隔たりと10個分の隔たりを区別することはできない。
  1. programjames

    この記事は位置埋め込みの実装を理解することだけを目的としているが、位置埋め込みを本当に理解するには理論を理解する必要がある。位置埋め込みは群の表現である。これがそれらを見つける方法であり、また微分可能/学習可能にするためにパラメータ化する方法でもある。いくつか例を挙げよう:

    1. 回転位置埋め込みは並進群の表現である。n次元並進群ℝⁿはアーベル群なので、その既約表現はすべて一次元 ρ: ℝⁿ → ℂ であり、運動量ベクトル m で指定される:ρₘ(x) = exp(i⟨m, x⟩)。複数の m を選ぶことで多次元表現を得られ、これらが学習可能なパラメータになる。

    2. RoPE埋め込みに回転も保存させたい場合(たとえば任意の角度から見たシーンがある場合)、特殊ユークリッド群の表現を探すことになる。四次元の既約表現はおなじみの粒子、電子、陽子などであり、一般には運動量ベクトルと離散スピンベクトルでパラメータ化される。スピンベクトルを訓練するには何らかのアニーリングプロセスが必要だろう(あるいは単に定数にしてもよい)。

    3. 四分木上でアテンションを行いたい場合、さて、群は何か?四分木の各ノードが[0, 1]にスケールされた局所座標を持つとしよう。四分木内で上/下/隣接ノードへ移動するには局所座標のアフィン変換が必要で、それらは合成できるので、各ノードをそのアフィン変換でラベル付けできる […]

この日のほかの記事

2026-11-15