bf16での微調整は重みの95%を凍結させていた
Bf16 might be freezing your weight updates
bf16で重みを保存したままAdamWで直接更新すると、変化が重みの約1/512未満の更新は丸めで消える。学習率1e-6なら小さい重みだけが更新され、残りは凍結される。Quiet-STaRの公開済みチェックポイントを差分すると、5.12e-4を超える約62億の重みのうち変化したのはわずか110個。同じレシピを正しいfp32のAdamWで再実行すると学習が破綻し、公開された学習率はこのバグがあって初めて成立していたと分かる。
つまり公開されたレシピは、バグのおかげで安定しているにすぎない。学習率1e-6は、更新の99%を捨てるオプティマイザ向けの設定なのだ。