旧电视盒子也能跑 16B 大模型

I'm making LLMs work on small and old devices

我致力于让 LLM 在老旧设备上运行。通过 smolmaxxing 项目，我在仅 1.9GB 内存的 Xiaomi TV Box S 和 13 年前的 iPad Air 上成功运行了从 0.8B 到 16B 参数的模型。利用自定义内核、更智能的内存管理以及 weight streaming 技术，这些设备能流畅处理 Qwen3.5、Moon-Beam 和 Ling-mini 等大模型。实验证明，哪怕是最小的硬件，其潜力也远超表面所见，关键在于如何挖掘 CPU、RAM 和 flash 的极限能力。