NVFP4强化学习的四苦：稳定与性能博弈

The 4-Bitter Lesson: Balancing Stability and Performance in NVFP4 RL

在强化学习训练中，吞吐量与稳定性往往是一对死敌。本文深入探讨了在NVIDIA Rubin GPU上使用NVFP4格式时，如何平衡这一矛盾。我们构建了一个RL Training Simulator，揭示了量化误差和策略陈旧度如何导致策略漂移，甚至引发奖励崩溃。通过对比DeepSeek-V3和Qwen3-30B-A3B等模型的训练动态，我们提出了一套包含去量化反向传播和选择性高精度的混合精度方案。这套方案旨在保留BF16的训练动态，同时享受FP4带来的9倍算力提升，为开源社区提供了稳定的低精度RL训练配方。

"量化的本质在于权衡：虽然低精度格式能加速硬件通信与计算，但量化噪声会损害训练稳定性，而快速且准确的低精度格式如NVFP4配合硬件支持，虽能大幅提升吞吐量，却也让采样与训练的不稳定性在强化学习中相互叠加。"