华为发布MACaQ：本地推理量化新利器

Huawei releases MACaQ, its internal quantizer for local inference

华为推出了全新的MACaQ量化工具，专为本地推理场景打造。它支持文本、图像、视频和音频等多种模态模型，兼容llama.cpp、vLLM、Diffusers和PyTorch等主流框架。MACaQ能在仅32.5GB显存下，64分钟内完成122B参数模型的量化，速度比DuQuant++快11倍，同时保持更低的困惑度。无论是开发GGUF格式模型，还是部署W4A4精度的多模态应用，MACaQ都提供了高效且灵活的解决方案，让本地AI推理更轻量、更强大。