Huawei, 122B 모델을 32.5GB 메모리로 64분 만에 양자화하는 MACaQ 공개
Huawei releases MACaQ, its internal quantizer for local inference
Huawei가 모델 종류를 가리지 않는 양자화 도구 MACaQ를 GitHub에 공개했다. 122B 파라미터 모델을 32.5GB 디바이스 메모리만으로 64분 만에 양자화하며, MR-GPTQ나 DuQuant++보다 낮은 perplexity를 얻거나 같은 품질을 11배 짧은 시간에 달성한다. llama.cpp, vLLM, Diffusers, PyTorch 백엔드를 지원해 텍스트는 물론 이미지·비디오·오디오 모델까지 GGUF와 W4A4로 압축해 로컬 추론에 쓸 수 있다. Ascend용 커널도 CANN PR로 함께 공개됐다.
MACaQ can quantize a 122B-parameter model in 64 minutes using just 32.5 GB of device memory.
HN 토론
20- lukasc-ch
사람들이 이걸 재현해서 GGUF를 만들고 있어요 https://www.reddit.com/r/LocalLLaMA/s/36atJ2nNjh
- Rabbit504030201
https://huawei-csl.com/blog/macaq/
왜 일부 HN 사용자들은 공식 사이트 대신 가능하면 항상 GitHub 페이지를 선호하는 것 같나요? 제 말은, Huawei는 여전히 제재 대상이고, 중국 밖에서 그들이 제3자로 호스팅하는 건 언제든 사라질 수 있잖아요.
- mocchibird
모델을 공개하긴 했나요? Strata에 좋을 것 같은데