bf16가 당신의 가중치 업데이트를 얼리고 있을지도 모른다
Bf16 might be freezing your weight updates
bf16 가중치에 AdamW를 직접 적용하면 작은 변화가 반올림으로 사라진다. 학습률 1e-6에서 512·η보다 큰 가중치는 사실상 고정되어, Quiet-STaR의 공개 체크포인트는 전체의 5.4%만 바뀌었고 5.12e-4 초과 구간에서는 62억 개 중 110개만 변했다. fp32 마스터 사본으로 같은 레시피를 재현하면 학습이 붕괴한다. 즉 논문의 결과는 버그 덕분에 안정적이었던 셈이다.
그래서 공개된 레시피는 오직 버그 덕분에 안정적이다. 학습률 1e-6은 업데이트의 99%를 버리는 옵티마이저를 위한 설정이다.