NVFP4 RLの安定性と性能のバランス：4ビット量子化の教訓

The 4-Bitter Lesson: Balancing Stability and Performance in NVFP4 RL

humans&がNVIDIAおよびRadixArkと協力し、RLトレーニングにおけるNVFP4 4ビット量子化の実用的なレシピを開発。前方パスでのポリシー量子化誤差、後方パスでの勾配ミスマッチ、そして高感度な重みによる不安定性に対処。具体的には、パー・トークン活性化スケーリング、非量子化バックワード、選択的高精度化などの手法を組み合わせ、BF16同期トレーニングと比較して2.9倍のスループット向上を達成しつつ、勾配スパイクやポリシードリフトを抑制。Qwen3-30B-A3BモデルとDAPO-math-17kデータセットで検証し、オープンソースとして実装を公開。