Huawei quantisiert ein 122B-Modell in 64 Minuten mit nur 32,5 GB Speicher

Huawei releases MACaQ, its internal quantizer for local inference

MACaQ heißt Huaweis neuer, modellunabhängiger Quantisierer für lokale Inferenz. Er komprimiert Text-, Bild-, Video- und Audiomodelle für llama.cpp, vLLM, Diffusers und PyTorch – mit niedrigerer Perplexity als MR-GPTQ und DuQuant++ oder gleicher Llama-3-8B-Qualität bei elfmal kürzerer Quantisierungszeit. Ein 122B-Modell braucht nur 64 Minuten und 32,5 GB Gerätespeicher. Der Code ist unter Apache 2.0 verfügbar, die zugehörige Arbeit auf arXiv.