32GB 노트북에서 48GB 모델이 돌아간다, Janas가 llama.cpp를 전 모델에서 앞서다

Janas: Run LLMs larger than RAM by streaming experts from SSD

Maurizio Cammalleri가 C로 만든 Janas-LLM은 전문가 가중치를 NVMe SSD에서 스트리밍해 RAM보다 큰 MoE 모델을 32GB 노트북에서 실행한다. Qwen3-Next-80B(48GB)가 초당 37토큰을 생성해 llama.cpp의 2.8토큰을 압도했고, 비교한 13개 모델 전부에서 더 빠르거나 대등했다. 실험 단계라 API가 자주 바뀌고 안정성은 검증되지 않았다.