Google schließt die numerische Lücke: Bitgenaues On-Policy-RL auf TPU

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

Google schließt die numerische Lücke: Bitgenaues On-Policy-RL auf TPU

Googles Tunix-Team stellt Zero-TIM vor: eine Implementierung, die Sampler und Trainer bei gleichen Gewichten bitgenau identische Logprobs berechnen lässt. Der Trick liegt in vier Bausteinen – feste Akkumulationsreihenfolge in Pallas-Kernels, explizite Cross-Shard-Reduktionen, ein einheitlicher Logprob-Scoring-Tail und Custom-VJP-Regeln für Serving-Kernels. Verifiziert auf 64 TPU v5p über 200 Schritte in FrozenLake: null mittlere absolute Abweichung, höhere Solve-Rate als Standard oder TIS.

Die Gewichte und Modellgleichungen waren identisch; die Arithmetik war es nicht.

Mehr von diesem Tag

2026-11-20