3.8BのLLMを998ドルで訓練し、GPT-2を大きく超えた

Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes

Hugo Vergnes氏が、nanochatに触発されて3.8BパラメータのLLMを開発。65Bトークンを43時間で学習し、COREスコア0.384を達成した。総費用はわずか998ドル。B200を8基使用し、FP8やMuonオプティマイザ、ClimbMixデータセットなどの工夫により、GPT-2を大幅に上回る性能を実現。一人でも研究ラボ並みのモデルが訓練可能であることを示した。