Janas：在32GB内存上运行80B模型
Janas: Run LLMs larger than RAM by streaming experts from SSD
Janas 项目打破了内存限制，让普通笔记本也能流畅运行 Qwen3-Next-80B 这样的大模型。它采用纯 C 语言编写，通过从 NVMe SSD 流式传输专家参数，实现了在 32GB 内存设备上运行 48GB 模型的目标。实测数据显示，在同等硬件下，Janas 的生成速度达到 37 tok/s，远超 llama.cpp 的 2.8 tok/s。该项目目前处于实验阶段，支持 Linux 和 Windows，旨在让大模型在资源受限的设备上也能高效运行。
Janas-LLM 能在普通电脑上运行大型混合专家语言模型，无论是否配备 GPU，其权重保留在磁盘上，每个 token 所需的专家参数从 NVMe SSD 流式传输，而那些反复被调用的参数则保留在内存中。