Hugo Vergnes：998美元训练3.8B LLM
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
我花了998美元，在租来的B200显卡上，用43小时训练了一个3.8B参数的LLM，CORE得分达到0.384。这个项目始于对从零开始训练模型的渴望，最终证明个人开发者也能在有限预算下做出有意义的成果。通过配置驱动框架、Muon优化器、ClimbMix数据集以及FP8混合精度训练，我实现了高效收敛。虽然早期实验失败过，但调整学习率策略、优化硬件利用率后，模型性能显著超越GPT-2。这不仅是一次技术实践，更是对“算力民主化”的一次有力验证。
在“nanoGPT玩具”和“需要研究实验室”之间，存在一个被忽视的广阔区域，一个人只需几千美元就能训练出有意义的模型。
HN 评论区
20- brainless
这类实验越来越多。当我意识到从此写代码将不再一样时，我曾难过了好几个月。但现在我站到了另一面。
LLM 本身很有趣，但作为工程师，这开启了一种构建软件的新途径。
我最近为一家美国房地产管理系统（涉及税务合规）构建了一个由 Claude 辅助的 Excel/CSV 解析器。它使用 Haiku 模型，包含大量确定性代码来提取行列组合以检查已知格式，最后将表头交给 Haiku，让它生成翻译计划以映射到我们的支持列。
这些最终会成为软件的一部分，运行在一个微型 LLM 中。训练（此类微型 LLM）与推理之间的差距将缩小。我们可以咨询 Claude 处理边缘情况，创建样本数据集，并按需训练微型 LLM，从而减少调用 Claude 的频率。
项目所需的工具链真的非常重要。这也是我深有同感的。不仅是在 LLM 构建项目中，在那些由 LLM 生成的常规软件项目中也是如此。
- rao-v
这真的很棒！我很有兴趣再次尝试，这次目标设定为 ~10 亿参数，并涵盖“当前”小模型理念的整个食谱：门控 Delta 网络（或者 ~2K 的上下文是否太短而无法从中获益？）、每层或 n-gram 嵌入、门控残差等。
- pulse7
希望我们很快能有一个开源项目来训练这类小型 LLM，用户只需选择架构（如 Qwen / DeepSeek 等）、参数量、数据集等，然后就能在本地或租用的 GPU 上运行。