Janas ejecuta LLMs de 80B en un portátil de 32 GB a 37 tok/s, frente a los 2.8 de llama.cpp

Janas: Run LLMs larger than RAM by streaming experts from SSD

Janas-LLM, escrito en C puro, ejecuta modelos de mezcla de expertos más grandes que la RAM transmitiendo los expertos desde un SSD NVMe. En un portátil con 32 GB, Qwen3-Next-80B (48 GB) alcanza 37 tok/s en chat, 24 sin borradores y 62 tok/s leyendo, frente a los 2.8 y 16 de llama.cpp. Supera a llama.cpp en los 13 modelos comparados en Q4_K_M, con o sin GPU.