2.78万亿参数Kimi K3在笔记本运行

Run Kimi K3 using 29 GB of RAM at 0.50 tok/s

sqliteai团队推出了WASTE引擎，成功在仅64GB内存的MacBook Pro上运行了完整的2.78万亿参数Kimi K3模型。这项技术并非模型蒸馏或剪枝，而是通过从NVMe硬盘直接流式传输激活的权重，将闲置参数留在磁盘上。虽然生成速度仅为每秒0.5个token，但它证明了在消费级硬件上运行前沿规模模型无需依赖云端API。该引擎由C语言编写，零依赖，不仅解决了内存限制问题，更让数据完全本地化运行成为可能。