Inkling-2-Mini schrumpft auf 5,4 GB und schlägt größere Quantisierungen

Inkling-2-Mini in 5.4 GB Memory

Der Quantisierungs-Compiler LookAtMyQuant presst das 26,4B-MoE-Modell Inkling-2-Mini von 18,89 GB auf 5,38 GB – nur 1,63 Bit pro Gewicht. Bei GSM8K und HumanEval übertrifft diese Datei Unsloths 9,14 GB große UD-Q2_K_XL-Variante, obwohl sie 41 Prozent kleiner ist. Die 8,87-GB-Version erreicht auf GSM8K das Niveau des BF16-Originals und senkt die KL auf Englisch/Chat/Code um Faktor 2,34. Auf einem M5 Max dekodiert die 5,4-GB-Variante mit 73,2 tok/s seriell.

Bei 5,38 GB übertrifft Inkling-2-Mini-LookAtMyQuant-5.4GB Unsloths 9,14 GB großes UD-Q2_K_XL sowohl bei GSM8K als auch bei HumanEval – bei 41 Prozent kleinerer Dateigröße.

Mehr von diesem Tag

2026-11-21