Benchmark zeigt: Qwen3.8 27B übersteht 4-Bit-Quantisierung unbeschadet, kollabiert aber bei 1 Bit
Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
Wie viel GPU-RAM braucht man wirklich, um Qwen3.8 27B ohne Qualitätsverlust auszuführen? Das volle BF16-Modell wiegt 55 GB und sprengt damit die meisten Consumer-GPUs. Doch die 17 GB große Q4_K_M-Variante erreicht auf dem Agentic-Coding-Benchmark Terminal-Bench 2.1 die gleiche Punktzahl wie das Original und passt auf eine RTX 4090 mit Platz für etwa 64k Token Kontext. Bei 1 Bit fällt die Leistung jedoch auf Zufallsniveau ab – GPQA Diamond wird nur noch geraten, und längeres Reasoning verschlimmert es sogar. Der Autor testete außerdem 2-Bit- und 8-Bit-Varianten und fand heraus, dass die Schädigung nichtlinear ist: Bis 4 Bit kein messbarer Unterschied, bei 2 Bit ein leichter Abfall, dann der Kollaps.
Die Qualität fällt bei 1 Bit von einer Klippe: Die Ergebnisse liegen auf dem Niveau des reinen Ratens, und längeres Reasoning macht es sogar noch schlimmer.