Qwen3.8 27B量子化ベンチマーク:4ビットは実用レベル、1ビットは崩壊

Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses

Qwen3.8 27B量子化ベンチマーク:4ビットは実用レベル、1ビットは崩壊

Qwen3.8 27BのGGUF量子化モデルを、GPQA Diamond、IFBench、Terminal-Bench 2.1で評価。フル精度BF16(55GB)と比較し、4ビットのQ4_K_M(17GB)はエージェントコーディングでほぼ同等の性能を維持し、RTX 4090などの24GB GPUで動作可能。一方、1ビットのUD-IQ1_S(6.2GB)はランダム推測レベルにまで性能が低下し、推論を長くするとさらに悪化。量子化の影響は非線形で、2ビットまでは実用に耐えるが、1ビットで崖のように崩れることを示した。

量子化のダメージは非線形です。最初は測定可能な変化がなく、次にわずかな低下、そして最後に崩壊が起こります。

この日のほかの記事

2026-09-08