Google、TPU上の強化学習でサンプラーとトレーナーの数値不一致を完全にゼロに

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

Google、TPU上の強化学習でサンプラーとトレーナーの数値不一致を完全にゼロに

LLMの強化学習では、サンプラーとトレーナーが別々の実行経路を通るため、同じ重みでも同じトークンに異なる対数確率を割り当てる「隠れたオフポリシーギャップ」が生じていた。GoogleはTunixでZero-TIMを実装し、64基のTPU v5p上でビット単位で一致する対数確率を実現。FrozenLakeでの検証では、平均絶対差が全ステップでゼロとなり、求解率も向上した。

重みとモデル方程式は同一だった。演算が同一ではなかったのだ。

この日のほかの記事

2026-11-20