Hugo Vergnes：998美元训练3.8B LLM
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
我花了998美元，在租来的B200显卡上，用43小时训练了一个3.8B参数的LLM，CORE得分达到0.384。这个项目始于对从零开始训练模型的渴望，最终证明个人开发者也能在有限预算下做出有意义的成果。通过配置驱动框架、Muon优化器、ClimbMix数据集以及FP8混合精度训练，我实现了高效收敛。虽然早期实验失败过，但调整学习率策略、优化硬件利用率后，模型性能显著超越GPT-2。这不仅是一次技术实践，更是对“算力民主化”的一次有力验证。
在“nanoGPT玩具”和“需要研究实验室”之间，存在一个被忽视的广阔区域，一个人只需几千美元就能训练出有意义的模型。