Huawei cuantiza un modelo de 122B parámetros en 64 minutos con solo 32,5 GB de memoria

Huawei releases MACaQ, its internal quantizer for local inference

Huawei abre MACaQ, su cuantizador calibrado y agnóstico al modelo, bajo licencia Apache 2.0. Genera GGUF de 2, 3 y 4 bits para llama.cpp, y también funciona con vLLM, Diffusers y PyTorch para texto, imagen, vídeo y audio. Logra menor perplejidad que MR-GPTQ y DuQuant++ o iguala su mejor resultado en Llama-3-8B con 11 veces menos tiempo de cuantización.