3.8BのLLMを998ドルで訓練し、GPT-2を大きく超えた
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
Hugo Vergnes氏が、nanochatに触発されて3.8BパラメータのLLMを開発。65Bトークンを43時間で学習し、COREスコア0.384を達成した。総費用はわずか998ドル。B200を8基使用し、FP8やMuonオプティマイザ、ClimbMixデータセットなどの工夫により、GPT-2を大幅に上回る性能を実現。一人でも研究ラボ並みのモデルが訓練可能であることを示した。
フロンティアが進むにつれて、1000ドルでできることはますます広がっていく。
HNでの議論
20- brainless
こういう実験がどんどん増えている。コードを書くことがもう以前と同じではなくなると気づいたとき、数ヶ月は悲しかった。今は逆の側にいる。
LLMはそれ自体が面白いが、エンジニアとしてこれはソフトウェア構築の新しい方法を切り開く手段だ。
最近、米国の不動産管理システム（税務コンプライアンス）向けにClaude支援のExcel/CSVパーサーを構築した。Haikuを使い、既知のフォーマットをチェックするために列/行の組み合わせを抽出する決定論的なコードが多く、最後にヘッダーをHaikuに渡してサポート列への変換プランを得る。
これらはいずれソフトウェアの一部となり、小さなLLMになるだろう。訓練（そうした小さなLLM）と推論の間のギャップは縮まる。エッジケースについてはClaudeに相談し、サンプルデータセットを作成し、オンデマンドで小さなLLMを訓練すれば、Claudeに頼る頻度は減る。
プロジェクトに必要なツール群は本当に重要だ。これは私も感じていることだ。LLM構築プロジェクトだけでなく、LLMが生成する通常のソフトウェアプロジェクトでも。
- rao-v
これは本当に素晴らしい！パラメータ数を約1Bにして、「現在の」小型モデルのアイデアを全部試してみたくなる：gated delta nets（あるいは約2Kコンテキストでは短すぎて恩恵がない？）、レイヤーごとまたはn-gram埋め込み、gated residualsなど。
- johnnylambada
自分で作ったLLMについての記事を書くのにLLMを使ったからといって、君を責めはしない。あまりにも多くのLLMの出力を読んできたので、今ではどこにでもそれを見る。人間もLLMのように書くようになるのだろうか？