Ternary LLM의 1.58비트 장벽, 실제 가중치 분포로 깨다
Breaking the 1.58-bit Barrier for Ternary LLMs
Ternary LLM은 가중치를 {-1,0,+1} 세 기호로 저장해 이론적으로 1.585비트/가중치가 한계다. 기존 five-trit packing은 1.625비트로 반올림된다. 연구진이 29개 모델의 실제 기호 분포를 측정한 결과 0이 최대 51.5%를 차지했다. 이에 따라 dense presence bitmap과 compacted sign vector로 구성된 BITCOS를 제안한다. 29개 중 26개 모델에서 five-trit packing보다 압축률이 높고, 가장 희소한 모델에서는 1.485비트/가중치를 달성했다. AVX-512, AVX2, Intel Xe2 GPU용 최적화 언패킹 시퀀스를 제공하며, 실제 ternary matrix-vector 곱셈 커널 대비 최대 1.28배 이득을 얻는다. 5개 플랫폼에서 디코드 처리량이 CPU 최대 1.18배, GPU 최대 1.27배 향상됐다.
우리는 29개 ternary LLM 모델의 실제 기호 분포를 측정한 결과, 0이 전체 가중치의 최대 51.5%를 차지한다는 사실을 발견했다.