Ternary LLM сжимаются до 1.485 бита на вес благодаря учёту нулей
Breaking the 1.58-bit Barrier for Ternary LLMs
Ternary LLM хранят каждый вес как один из трёх символов {−1,0,+1}, что теоретически требует log₂3 ≈ 1.585 бита. На практике пятитритное кодирование даёт 1.625 бита, поскольку все символы считаются равновероятными. Исследователи измерили распределение весов в 29 моделях и обнаружили, что нули составляют до 51.5% весов. Новый формат BITCOS использует битовую карту присутствия и сжатый вектор знаков, достигая 1.485 бита на вес и ускорения до 1.28× для матрично-векторного умножения. Сквозной вывод улучшается до 1.18× на CPU и 1.27× на GPU.
BITCOS хранит веса компактнее, чем пятитритная упаковка, в 26 из 29 протестированных моделей и достигает 1.485 бита на вес в самой разреженной из них.