8美元微控制器跑2890万参数LLM
Running a 28.9M parameter LLM on an $8 microcontroller
我在ESP32-S3微控制器上成功运行了一个2890万参数的LLM，这款芯片成本仅约8美元。与以往此类芯片上运行的26万参数模型相比，这次参数量提升了一百倍。关键在于采用了Google在Gemma模型中提出的Per-Layer Embeddings技术，将大部分模型参数存储在慢速Flash中，仅将核心计算部分保留在SRAM里。虽然它无法回答复杂问题或编写代码，但能以每秒约9个token的速度在本地生成连贯的短故事。这不仅展示了TinyStories数据集的潜力，也证明了在资源极度受限的硬件上运行大模型的可行性。
这个大型模型几乎不需要运行成本，因为你从不加载它的大部分，它只是静静地待在Flash里，按需读取一点点。
- titzer
如今 5 美元能买到什么微控制器，简直疯了。看看这些 Milk-V 开发板：
这款双核板子最高支持 256MB 内存，还有一颗 1TOPS@INT8 的 TPU。它们能跑 Linux，只要 5 美元。我直接买了 5 块！
- rao-v
这种逐层嵌入（per-layer embedding）技巧的用法真的很巧妙。另外值得一提的是，现在也有参数量约 2000 万到 3000 万的可行 TTS 模型，这意味着你可能让一台没有网络连接的 ESP32 近乎实时地为你朗读内容！
- chrishynes
为什么不能扩展成在 CPU 上运行更大的模型，同时利用闪存作为后端，并配合良好的访问模式呢？