三値LLMの1.58ビット障壁を突破、ゼロの偏りを突いた新レイアウト
Breaking the 1.58-bit Barrier for Ternary LLMs
三値LLMは各重みを{-1,0,+1}で表すが、従来の5-tritパッキングでは実効1.625ビット/重みとなる。29モデルを計測すると最大51.5%がゼロで、等確率の前提が崩れていた。そこでゼロ密度zに応じ2−zビットで格納するBITCOSを提案。29モデル中26で従来より小さく、最小1.485ビット/重みを達成。AVX-512やXe2 GPU向けの展開も最適化し、実モデルで最大1.28倍の行列ベクトル積高速化、デコードもCPUで1.18倍、GPUで1.27倍向上した。
29個の三値LLMモデルの実際のシンボル分布を測定したところ、ゼロが全重みの最大51.5%を占めることがわかった。