Qwen3.8 27B: la cuantización de 4 bits mantiene el rendimiento, la de 1 bit colapsa

Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses

Un análisis exhaustivo de las cuantizaciones de Qwen3.8 27B revela que la versión de 4 bits (Q4_K_M, 17 GB) iguala al modelo completo en benchmarks como Terminal-Bench 2.1 y GPQA Diamond, cabiendo en una RTX 4090. Sin embargo, la cuantización de 1 bit (UD-IQ1_S, 6.2 GB) produce resultados cercanos al azar, y un razonamiento más prolongado empeora el desempeño. El autor, que gastó unos $3,000 en GPUs de Modal, también encontró que la cuantización de 2 bits funciona decentemente en tareas simples, pero falla en las complejas. En general, recomienda adoptar la cuantización de 4 bits para la mayoría de los casos.