Inkling-2-Mini сжимают до 5,4 ГБ: модель обгоняет кванты, которые вдвое больше
Inkling-2-Mini in 5.4 GB Memory
Компилятор квантования LookAtMyQuant сжимает MoE-модель thinkingmachines/Inkling-2-Mini с 18,89 ГБ до 5,38 ГБ (1,63 бита на вес) и до 8,87 ГБ (2,69 бита). Версия на 5,4 ГБ набирает на GSM8K и HumanEval больше, чем Unsloth UD-Q2_K_XL объёмом 9,14 ГБ, то есть при файле на 41% меньше. Версия на 8,9 ГБ сравнивается с исходной BF16 на GSM8K и снижает KL в 2,34 раза. На M5 Max 5,4-гигабайтный файл выдаёт 73,2 ток/с последовательно и до 141,8 ток/с на математике.
При 5,38 ГБ Inkling-2-Mini-LookAtMyQuant-5.4GB обходит Unsloth UD-Q2_K_XL объёмом 9,14 ГБ и на GSM8K, и на HumanEval, будучи на 41% меньше.