Qwen3.8 27B 양자화 벤치마크: 4비트는 원본 수준, 1비트는 붕괴

Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses

Qwen3.8 27B 모델의 다양한 양자화 수준(GGUF)을 GPQA Diamond, IFBench, Terminal-Bench 2.1 벤치마크로 평가한 결과, 4비트 Q4_K_M(17GB)은 BF16 원본과 거의 동일한 성능을 보였고, 2비트 UD-Q2_K_XL(10.7GB)도 상당한 성능을 유지했습니다. 그러나 1비트 UD-IQ1_S(6.2GB)는 GPQA Diamond에서 랜덤 추측 수준으로 떨어졌으며, 추론 길이가 길어질수록 성능이 더 악화되었습니다. 이 글은 실제 GPU 비용과 실행 설정의 중요성도 다룹니다.