Qwen3.8 27B量子化ベンチマーク：4ビットは実用レベル、1ビットは崩壊
Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
Qwen3.8 27BのGGUF量子化モデルを、GPQA Diamond、IFBench、Terminal-Bench 2.1で評価。フル精度BF16（55GB）と比較し、4ビットのQ4_K_M（17GB）はエージェントコーディングでほぼ同等の性能を維持し、RTX 4090などの24GB GPUで動作可能。一方、1ビットのUD-IQ1_S（6.2GB）はランダム推測レベルにまで性能が低下し、推論を長くするとさらに悪化。量子化の影響は非線形で、2ビットまでは実用に耐えるが、1ビットで崖のように崩れることを示した。
量子化のダメージは非線形です。最初は測定可能な変化がなく、次にわずかな低下、そして最後に崩壊が起こります。
HNでの議論
96- spider-mario
> 第二に、ノイズ（バーはWilsonの95%信頼区間で、実行間ノイズに対して非常に保守的）を除けば、4ビットまでほとんど差はなく、2ビットだけが少し低いスコアです。
信頼区間は実行間変動とは何の関係もありません。人々が通常それに帰する事柄（https://link.springer.com/article/10.3758/s13423-015-0947-8 ）ともほとんど関係がなく、実行間変動とはさらに無関係です（https://link.springer.com/article/10.1007/s10654-016-0149-3 の誤解22）。
- sharmajai
これは、低い量子化を使うときに品質の低下が最小限であることを説明する私の理論を裏付けるものです（私は8ビットKVキャッシュでIQ3_XXSを使い、XHIGH（デフォルト）の思考レベルを使用しています）。
量子化がサンプリング確率分布に影響を与えることはよく知られていますが（同じ文脈で、次のトークンとして最も可能性が高いもの）、Qwen 3.8 27bは、より多く思考し、その結果として最終的にタスク（ベンチマークやその他）を完了することで、それを相殺しているようです。
したがって、思考（たとえ長くても）が健全である限り、これは（記事に示されているように）同じ成功率につながりますが、潜在的に多くのトークンと時間を犠牲にする可能性があります。
成功率に加えて、各量子化で使用されたトークンもグラフ化するとさらに役立つと思います。
研究を実施し共有してくれてありがとう！
- purpleflame1257
ここにはQ3に本当の穴があります。重要なブレークポイントは16GB未満のカードであり、5080、5070 Ti、5060ti、およびこの世代と前世代の他のいくつかのカードが含まれます。品質の膝がどこにあるかを見るのは有益でしょう。
- alentred
私は*KVキャッシュ*の量子化に関する同様のベンチマークに非常に興味があります。
私は時々コーディングにQwen3.8 27B Q4_K_Mを使用しているため、比較的長いコンテキストが必要です。q8_0に落ち着きましたが、それはモデルと100kトークンを24GBのVRAMに収める唯一の方法だからです。しかし、品質で何を失っているのか、他にどのようなオプションがあるのか、まだ疑問に思っています。
また、KVキャッシュの量子化は、より長いコンテキストでより重要になると聞きました。これもベンチマークするのは興味深いかもしれません：モデル量子化×KVキャッシュ量子化×コンテキストサイズの異なる組み合わせで品質がどのようになるか。
- Farmadupe
うーん、この記事が部分的にClaudeによって書かれ、部分的に人間によって書かれていると仮定すると、「記事を読む価値があるかどうかを知る方法」の経験則を見つけるのを手伝ってくれる人はいますか？
一方で、散文とプレゼンテーションは苦痛です（無関係な点を物語る、非線形のX軸、曖昧なチャートラベルなど）。
しかし他方で、著者が伝えようとしていると思われる結果（「これらの評価では、生成品質はかなり良いように思われる」）は共有する価値があるように聞こえますか？
なぜなら、私は現時点でこの問題に本当に苦労しているからです。「もし書き物がデータと並べて無関係なテキストを提示しているなら、これは著者が書き上げようとしているタスクを理解していないことを示す兆候かもしれない」という不利な推論を引き出してもよいのでしょうか？