Google logra que el entrenamiento y la inferencia de RL en TPU coincidan bit a bit

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

Google logra que el entrenamiento y la inferencia de RL en TPU coincidan bit a bit

El equipo de Tunix de Google elimina la discrepancia numérica entre el sampler y el trainer en el aprendizaje por refuerzo de LLM sobre TPU. Mediante kernels Pallas con orden de acumulación fijo, reducciones entre shards explícitas y reglas de diferenciación personalizadas, logran logprobs idénticos bit a bit en 64 chips TPU v5p. En pruebas con Qwen3-8B y FrozenLake, Zero-TIM mantiene una diferencia media absoluta de cero y mejora la tasa de resolución frente a los enfoques estándar y TIS.

El entrenamiento es on-policy, pero la ejecución numérica ha introducido una brecha off-policy oculta que se acumula a lo largo de trayectorias de múltiples turnos.

Más de este día

2026-11-20