Huawei квантует модель на 122 млрд параметров за 64 минуты на 32,5 ГБ памяти
Huawei releases MACaQ, its internal quantizer for local inference
Huawei открыла MACaQ — квантователь, не привязанный к конкретной архитектуре: он сжимает текстовые, графические, видео- и аудиомодели под llama.cpp, vLLM, Diffusers и PyTorch. Модель на 122 млрд параметров квантуется за 64 минуты, используя всего 32,5 ГБ памяти устройства. По perplexity MACaQ обходит MR-GPTQ и DuQuant++, а лучший результат Llama-3-8B повторяет в 11 раз быстрее. Код под лицензией Apache 2.0.
MACaQ может квантовать модель на 122 млрд параметров за 64 минуты, используя всего 32,5 ГБ памяти устройства.
- lukasc-ch
Люди воспроизводят это и создают GGUFs https://www.reddit.com/r/LocalLLaMA/s/36atJ2nNjh
- Rabbit504030201
https://huawei-csl.com/blog/macaq/
Почему некоторые пользователи HN, похоже, предпочитают страницу на GitHub, когда она доступна, в ущерб официальному сайту? Я имею в виду, Huawei всё ещё под санкциями, всё, что они размещают у третьих сторон вне Китая, может исчезнуть в любой час.
- mocchibird
Они выпустили какую-нибудь модель? Похоже, это хорошо для Strata