colibrì: 在消费级电脑运行超大规模模型

Show HN: Getting GLM 5.2 running on my slow computer

7vforno💬 0
colibrì: 在消费级电脑运行超大规模模型

这是一个用纯 C 语言编写的微型引擎,能在仅 25GB 内存的消费级电脑上流畅运行 GLM-5.2(744B 参数 MoE 模型)。它通过零依赖设计和从磁盘流式加载专家模块的技术,将庞大的模型拆分处理:核心部分驻留内存,其余专家按需读取。无需 GPU 或 Python 环境,支持原生 MTP 推测解码和智能缓存,让普通开发者也能在本地体验前沿大模型的强大能力。

"Tiny engine, immense model. 用微型引擎驾驭庞大模型,让价值低于一张 H100 显卡的普通电脑也能正确回答前沿大模型的问题。"