Huaweiが122Bモデルを64分・32.5GBで量子化するMACaQを公開

Huawei releases MACaQ, its internal quantizer for local inference

Huaweiがモデル非依存のキャリブレーション量子化ツールMACaQをGitHubで公開した。122Bパラメータのモデルを32.5GBのメモリで64分で量子化でき、MR-GPTQやDuQuant++より低いperplexityを達成、あるいはLlama-3-8Bで同等品質を11分の1の時間で実現する。llama.cpp、vLLM、Diffusers、PyTorchに対応し、テキストだけでなく画像・動画・音声モデルも扱える。