Google добилась побитового совпадения логитов сэмплера и тренера при RL на TPU
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

В обучении с подкреплением для LLM даже ничтожные расхождения между генерацией и градиентным обновлением сбивают сходимость. Google реализовала в Tunix подход Zero-TIM: сэмплер, префилл и тренер выдают побитово одинаковые логиты для одного и того же действия при тех же весах. Решение проверено на 64 TPU v5p (DP8×TP8) и не требует слияния движков — достаточно четырёх приёмов: фиксировать порядок накопления внутри шарда, явно упорядочивать межшардовые редукции, унифицировать хвост скоринга и обернуть serving-ядра правилами дифференцирования.
Расписание обучения on-policy, но численное исполнение внесло скрытый off-policy разрыв, который накапливается на многошаговых траекториях.