Janas обгоняет llama.cpp на всех 13 моделях, запуская 80B LLM на ноутбуке с 32 ГБ ОЗУ

Janas: Run LLMs larger than RAM by streaming experts from SSD

Janas-LLM — экспериментальный движок на чистом C, который стримит экспертов mixture-of-experts моделей с NVMe SSD, позволяя запускать LLM больше объёма оперативной памяти. На ноутбуке с 32 ГБ и интегрированной графикой Qwen3-Next-80B (48 ГБ) выдаёт 37 ток/с в чате с драфтами и 24 без них, тогда как llama.cpp — лишь 2.8 ток/с. Janas быстрее llama.cpp на всех 13 протестированных моделях в Q4_K_M.