Inkling-2-Mini, 5.4GB로 압축해 GSM8K에서 9.14GB Unsloth 모델을 앞서다

Inkling-2-Mini in 5.4 GB Memory

LookAtMyQuant는 압축 시 모델 출력에 미치는 손상을 측정해 크기 예산 안에서 최적의 코드를 고르는 양자화 컴파일러다. 26.4B 물리·5.4B 활성 3회 루프 MoE인 Inkling-2-Mini를 18.89GB에서 5.38GB(1.63비트/가중치)로 줄였고, GSM8K에서 134/200을 맞혀 9.14GB Unsloth UD-Q2_K_XL(132/200)을 41% 작은 크기로 앞섰다. 8.87GB 버전은 GSM8K에서 원본 BF16과 동일한 148/200을 기록했고, M5 Max에서 초당 73.2토큰으로 디코딩한다.

5.38GB에서 Inkling-2-Mini-LookAtMyQuant-5.4GB는 Unsloth의 9.14GB UD-Q2_K_XL보다 GSM8K와 HumanEval 모두에서 높은 점수를 41% 더 작은 크기로 기록했다(튜닝 전 76/200, 24/164에서 상승).

이 날의 다른 글

2026-11-21