Forscher durchbrechen die 1,58-Bit-Grenze für ternäre LLMs
Breaking the 1.58-bit Barrier for Ternary LLMs
Ternäre LLMs speichern Gewichte als {-1, 0, +1}, was theoretisch 1,585 Bit pro Gewicht entspricht. In der Praxis werden fünf Trits in einem Byte verpackt, was 1,625 Bit ergibt. Eine Analyse von 29 Modellen zeigt jedoch, dass Nullen bis zu 51,5 % der Gewichte ausmachen. Das neue Layout BITCOS nutzt diese Verteilung mit einer Bitmap und einem kompakten Vorzeichenvektor und erreicht 1,485 Bit pro Gewicht. Auf AVX-512, AVX2 und Intel Xe2 GPUs beschleunigt dies die Inferenz um bis zu 1,18× auf CPUs und 1,27× auf GPUs.
Wir messen die tatsächliche Symbolverteilung von 29 ternären LLM-Modellen und stellen fest, dass Nullen bis zu 51,5 % aller Gewichte ausmachen.