Google 用 Zero-TIM 解决 TPU 上 RL 训练难题
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

在大型语言模型的强化学习中,训练与推理的数值微小差异会导致模型不稳定甚至无法收敛。Google 团队在 Tunix 项目中提出 Zero-TIM 方案,通过统一 Sampler、Serving Prefill 和 Trainer 三条路径的浮点运算顺序,实现了比特级零误差。该方案在 64 颗 TPU v5p 芯片上验证成功,彻底消除了隐藏的策略偏差,让真正的 On-Policy 学习在分布式 TPU 集群上成为可能。
权重和模型方程完全相同,但算术运算却不一致。