Los LLM ternarios rompen el límite de 1.58 bits gracias a la densidad de ceros
Breaking the 1.58-bit Barrier for Ternary LLMs
Los LLM ternarios almacenan cada peso como -1, 0 o +1, lo que fija un límite teórico de 1.585 bits por peso. El formato habitual empaqueta cinco pesos por byte, elevando el costo a 1.625 bits. Al medir 29 modelos ternarios reales, los ceros representan hasta el 51.5% de los pesos. BITCOS explota esa densidad con un bitmap de presencia y un vector de signos compacto, alcanzando 1.485 bits por peso y acelerando la inferencia hasta 1.18× en CPU y 1.27× en GPU.
Medimos la distribución real de símbolos de 29 modelos LLM ternarios y encontramos que los ceros representan hasta el 51.5% de todos los pesos.