Un Xiaomi TV Box de 1 GB de RAM ejecuta modelos de lenguaje de hasta 16B parámetros

I'm making LLMs work on small and old devices

El proyecto smolmaxxing exprime hardware que casi nadie considera: un Xiaomi TV Box S con Amlogic S7D y 1,9 GB de RAM, y un iPad Air de 2013 con 1 GB. Con kernels personalizados, repacks de cuantización, paginación de expertos desde flash y streaming de pesos, logra 16,8 tok/s con Qwen3.5-0.8B, 7,2 tok/s con un MoE de 8B y 5,1 tok/s con Ling-mini-2.0 de 16B. Cada cifra se mide en el propio dispositivo, experimento a experimento.