7 颗 ESP32-S3 集群跑 1.58-bit LLM

ESP32S3 cluster running 1.58-bit (BitNet) Language model

这个项目用 7 颗 ESP32-S3 微控制器组成集群，成功运行了经过 1.58-bit BitNet 三元量化的 0.4B 参数大语言模型。架构上，主节点负责 Tokenizer 和 Embedding，其余节点通过高速 SPI Daisy-Chain 串联，分担 Attention 层和 MLP 层的计算。这种分布式推理引擎将模型切片部署在资源受限的硬件上，展示了在微控制器领域运行 LLM 的惊人潜力。从 INT4 嵌入到 1.58-bit 线性层，再到基于汇编优化的 MAC 运算，每一个细节都体现了对极致性能的压榨。