32GBのノートPCが48GBのQwen3-Next-80Bを毎秒37トークンで動かす、llama.cppは2.8

Janas: Run LLMs larger than RAM by streaming experts from SSD

Maurizio "camauri" Cammalleri氏が開発したJanas-LLMは、MoEモデルのエキスパートをNVMe SSDからストリーミングし、RAMを超えるLLMを32GBのノートPCで動かす実験的エンジン。Qwen3-Next-80B（48GB）で毎秒37トークン、llama.cppの2.8を大きく上回り、比較した13モデルすべてでllama.cppより高速。純Cで依存なし、LinuxとWindowsに対応。