Google, TPU에서 샘플러와 트레이너의 로그확률을 비트 단위로 일치시켜 RL 학습을 안정화하다

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

Google, TPU에서 샘플러와 트레이너의 로그확률을 비트 단위로 일치시켜 RL 학습을 안정화하다

LLM 강화학습에서 샘플러와 트레이너가 같은 가중치에도 서로 다른 로그확률을 계산하면 숨은 off-policy 격차가 생겨 학습이 불안정해진다. Google은 Tunix에서 Zero-TIM을 구현해 64개 TPU v5p 메시에서 샘플러 디코드, 서빙 프리필, 트레이너 포워드의 로그확률을 비트 단위로 일치시켰다. Pallas 커널의 누산 순서 고정, 크로스 샤드 리덕션 순서 명시, 커스텀 미분 규칙 적용이 핵심이다. FrozenLake 실험에서 Zero-TIM은 샘플러-트레이너 로그확률 차이를 0으로 유지하며 더 높은 해결률을 기록했다.

가중치와 모델 방정식은 동일했지만, 산술은 동일하지 않았다.

이 날의 다른 글

2026-11-20