Janas-LLM läuft schneller als llama.cpp und lässt 80B-Modelle auf 32 GB RAM laufen
Janas: Run LLMs larger than RAM by streaming experts from SSD
Janas-LLM, ein experimenteller C-basierter LLM-Runner, streamt Expertengewichte von einer NVMe-SSD und übertrifft llama.cpp auf allen 13 verglichenen Modellen. Auf einem Laptop mit 32 GB RAM erreicht Qwen3-Next-80B (48 GB) 37 tok/s beim Schreiben mit Drafts und 62 tok/s beim Lesen – llama.cpp schafft nur 2,8 bzw. 16 tok/s. Der Autor Maurizio Cammalleri betont: Dies ist ein Experiment, kein Produkt.
37 tok/s von Qwen3-Next-80B (ein 48-GB-Modell) auf einem Laptop mit 32 GB Arbeitsspeicher, 24 ohne Drafts, wo llama.cpp 2,8 schafft; beim Lesen eines Prompts 62 tok/s gegenüber 16.