На Xiaomi TV Box за 1 ГБ RAM запустили 16-миллиардную LLM со скоростью 5 токенов в секунду
I'm making LLMs work on small and old devices
Автор проекта smolmaxxing выжимает максимум из маломощных устройств: на Xiaomi TV Box S с 1,9 ГБ RAM (около 1 ГБ доступно) крутятся модели от 260K до 16B параметров. Qwen3.5-2B выдаёт 7,7 ток/с в чате, 8B MoE Moon-Beam — 7,2 ток/с с подкачкой экспертов из флеша, а Ling-mini-2.0 на 16B — 5,1 ток/с. На iPad Air 2013 года с 1 ГБ RAM модель на 1,7B работает со скоростью 24-26 ток/с. Каждый результат измерен на самом железе, все эксперименты описаны по шагам.
На этой коробке 2B — лучший баланс скорости и качества. Ling-mini-2.0 показывает, что больше не значит автоматически лучше: он вдвое крупнее Moon-Beam, но даёт худшее качество на байт и работает медленнее.