bf16 friert beim Fine-Tuning 95 % der Gewichte ein – und genau das hält das Training stabil

Bf16 might be freezing your weight updates

Wer mit bf16-Gewichten und torch.optim.AdamW direkt trainiert, verliert jede Änderung, die kleiner als rund 1/512 des Gewichts ist. Bei einer Lernrate von 1e-6 können nur die kleinsten Gewichte überhaupt aktualisiert werden – der Rest bleibt eingefroren. Der Autor prüft das an Quiet-STaR: Über 5,12e-4 änderte sich praktisch kein einziges der 6,2 Milliarden Gewichte. Ein korrigierter Optimierer bringt das Rezept zum Divergieren – der Rundungsfehler war die Stabilitätskrücke.