Quantisierung visuell erklärt: So passen große Sprachmodelle in den Speicher
A Visual Guide to Quantization (2024)
Große Sprachmodelle (LLMs) wie Llama 3 benötigen oft hunderte Gigabyte Speicher – zu viel für normale Hardware. Quantisierung reduziert die Bitbreite der Parameter, etwa von 32-Bit-Gleitkommazahlen auf 8-Bit-Integer, und senkt so den Speicherbedarf drastisch. Dieser Leitfaden erklärt die Grundlagen der Zahlenrepräsentation, symmetrische und asymmetrische Quantisierung sowie die Herausforderungen durch Ausreißer und Aktivierungen. Mit über 50 Visualisierungen werden Konzepte wie Absmax- und Zero-Point-Quantisierung, Kalibrierung und Post-Training-Quantisierung verständlich dargestellt.
Das Hauptziel der Quantisierung ist es, die Anzahl der Bits (Farben) zu reduzieren, die benötigt werden, um die ursprünglichen Parameter darzustellen, während die Präzision der ursprünglichen Parameter so gut wie möglich erhalten bleibt.