Benchmark zeigt: Qwen3.8 27B übersteht 4-Bit-Quantisierung unbeschadet, kollabiert aber bei 1 Bit
Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
Wie viel GPU-RAM braucht man wirklich, um Qwen3.8 27B ohne Qualitätsverlust auszuführen? Das volle BF16-Modell wiegt 55 GB und sprengt damit die meisten Consumer-GPUs. Doch die 17 GB große Q4_K_M-Variante erreicht auf dem Agentic-Coding-Benchmark Terminal-Bench 2.1 die gleiche Punktzahl wie das Original und passt auf eine RTX 4090 mit Platz für etwa 64k Token Kontext. Bei 1 Bit fällt die Leistung jedoch auf Zufallsniveau ab – GPQA Diamond wird nur noch geraten, und längeres Reasoning verschlimmert es sogar. Der Autor testete außerdem 2-Bit- und 8-Bit-Varianten und fand heraus, dass die Schädigung nichtlinear ist: Bis 4 Bit kein messbarer Unterschied, bei 2 Bit ein leichter Abfall, dann der Kollaps.
Die Qualität fällt bei 1 Bit von einer Klippe: Die Ergebnisse liegen auf dem Niveau des reinen Ratens, und längeres Reasoning macht es sogar noch schlimmer.
- spider-mario
> Zweitens, abgesehen vom Rauschen (Balken sind Wilson-95%-Konfidenzintervalle, sehr konservativ für Lauf-zu-Lauf-Rauschen), gibt es bis 4-Bit kaum Unterschiede; nur die 2-Bit-Werte schneiden etwas schlechter ab.
Konfidenzintervalle haben nichts mit Lauf-zu-Lauf-Variation zu tun. Sie haben wenig mit dem zu tun, was die Leute ihnen üblicherweise zuschreiben (https://link.springer.com/article/10.3758/s13423-015-0947-8 ), aber schon gar nichts mit Lauf-zu-Lauf-Variation (https://link.springer.com/article/10.1007/s10654-016-0149-3 Fehlkonzept 22).
- sharmajai
Das bestätigt eine Theorie, die ich habe, um den minimalen Qualitätsverlust bei niedrigeren Quantisierungen zu erklären (ich verwende IQ3_XXS mit einem 8-Bit-KV-Cache) und der XHIGH-Denkstufe (Standard).
Es ist allgemein bekannt, dass die Quantisierung die Wahrscheinlichkeitsverteilung der Stichproben beeinflusst (bei gleichem Kontext, welches nächste Token am wahrscheinlichsten ist), aber Qwen 3.8 27b scheint dies auszugleichen, indem es einfach mehr denkt und dadurch die Aufgabe (Benchmark oder sonst) schließlich abschließt.
Solange das Denken (wenn auch länger) fundiert ist, führt dies also zur gleichen Erfolgsquote (wie im Artikel gezeigt), aber möglicherweise auf Kosten von mehr Tokens und damit mehr Zeit.
Ich denke, es wäre weiterhin nützlich, zusätzlich zur Erfolgsquote auch die verwendeten Tokens jeder Quantisierung grafisch darzustellen.
Danke für die Durchführung und das Teilen der Forschung!
- purpleflame1257
Hier gibt es bei Q3 eine echte Lücke. Ein kritischer Wendepunkt liegt bei Karten mit weniger als 16 GB, was die 5080, 5070 Ti, 5060ti und mehrere andere Karten dieser und der letzten Generation abdeckt. Es wäre aufschlussreich zu sehen, wo das Qualitätsknie liegt.
- alentred
Ich wäre sehr an einem ähnlichen Benchmark für *KV-Cache*-Quantisierungen interessiert.
Ich verwende Qwen3.8 27B Q4_K_M manchmal zum Programmieren und benötige daher einen relativ langen Kontext. Ich habe mich für q8_0 entschieden, weil es der einzige Weg ist, das Modell + 100k Tokens in 24 GB VRAM unterzubringen, aber ich frage mich trotzdem, was ich an Qualität verliere und welche anderen Optionen es gibt.
Ich habe auch gehört, dass die KV-Cache-Quantisierung bei längeren Kontexten wichtiger wird. Es könnte interessant sein, auch dies zu benchmarken: Wie die Qualität bei verschiedenen Kombinationen aus Modellquantisierung × KV-Cache-Quantisierung × Kontextgröße aussieht.
- Farmadupe
Hmm, angenommen, dieser Artikel ist teils von Claude und teils von Menschen geschrieben, kann mir jemand eine Faustregel geben, wie man erkennt, ob ein Artikel lesenswert ist?
Denn einerseits sind Prosa und Präsentation schmerzhaft (Erzählen irrelevanter Punkte, nichtlineare X-Achsen, mehrdeutige Diagrammbeschriftungen usw.),
Aber andererseits klingt das Ergebnis, das der Autor vermutlich vermitteln möchte ("Bei diesen Evaluierungen scheint die Generierungsqualität ziemlich gut zu sein"), durchaus erwähnenswert?
Denn ich kämpfe derzeit wirklich mit dieser Frage. Darf ich einen negativen Rückschluss ziehen, dass, wenn der Text irrelevante Passagen neben den Daten präsentiert, dies ein Zeichen dafür sein könnte, dass der Autor die Aufgabe, die er beschreiben möchte, nicht versteht?