8 美元 ESP32-S3 从零训练 Transformer
An SLM trained on $8 ESP32-S3
我们打破了训练模型必须依赖 GPU 或数据中心的刻板印象。在 Qapla' 项目中，我利用一颗仅 8 美元的 ESP32-S3 微控制器，从零开始训练了一个字符级 Transformer。这并非简单的推理运行，而是芯片在内部完整执行了前向传播、手写 C 语言的反向传播以及权重更新。为了适配极小的内存，我们选择了结构严谨且语料开源的 Klingon 语言作为实验对象。虽然训练过程耗时数小时，但这证明了边缘设备具备真正的“学习”能力，而不仅仅是执行预设指令。
我们不再理所当然地认为训练模型需要 GPU 或数据中心，有时像 8 美元微控制器这样小巧便宜的设备，就足以从零开始训练一个模型。
- chicken-stew
或许更好的做法是通过示例来演示这种方法如何用于训练传感器数据并加以应用（正如作者所暗示的那样），而不是承认这个克林贡语概念验证毫无用处。
- runtime_lens
有时候，概念验证本身并不是最终产品。它所暴露出的限制条件，最终会反过来影响更实用的系统。
- dannyw
非常酷的项目！听起来是个很有趣的挑战 :)
我好奇我们什么时候能看到 ESP32-S3 的集群……虽然不太确定互连方案该怎么搞，不过我想互连本身应该也不是瓶颈。