Inkling-2-Miniを5.4GBに圧縮、9.14GBの量子化モデルを上回る精度

Inkling-2-Mini in 5.4 GB Memory

LookAtMyQuantは、各部品を圧縮したときの出力への影響を測り、サイズ予算内で損害が最小になる符号を選ぶ量子化コンパイラ。26.4B物理・5.4BアクティブのMoEモデルInkling-2-Miniを18.89GBから5.38GB(1.63ビット/重み)へ圧縮し、GSM8KとHumanEvalでUnslothの9.14GB版を上回った。8.87GB版はGSM8KでBF16原本に並ぶ。Apple Silicon向けMetalカーネルで動作し、M5 Maxでは5.4GB版が毎秒73.2トークンで生成する。

5.38GBのInkling-2-Mini-LookAtMyQuant-5.4GBは、GSM8KとHumanEvalの両方で、41%小さいサイズながらUnslothの9.14GB UD-Q2_K_XLを上回るスコアを出す。

この日のほかの記事

2026-11-21