Inkling-2-Mini cabe en 5,4 GB y supera a Unsloth con casi la mitad de tamaño
Inkling-2-Mini in 5.4 GB Memory
LookAtMyQuant, un compilador de cuantización, reduce Inkling-2-Mini de 18,89 GB a 5,38 GB (1,63 bits por peso) y a 8,87 GB (2,69 bits por peso). En GSM8K, la versión de 5,4 GB acierta 134 de 200 frente a 132 de Unsloth UD-Q2_K_XL, que ocupa 9,14 GB. La de 8,9 GB iguala al original en GSM8K y reduce el KL un 2,34× en inglés, chat y código. Usa códigos trellis y ajuste fino proximal, y corre en Apple Silicon con el runtime lamq.
A 5,38 GB, Inkling-2-Mini-LookAtMyQuant-5.4GB supera en GSM8K y HumanEval al UD-Q2_K_XL de 9,14 GB de Unsloth con un tamaño un 41% menor.