Inkling-2-Mini 压缩至 5.4 GB 仍保持高智能
Inkling-2-Mini in 5.4 GB Memory
LookAtMyQuant 量化编译器通过智能分配比特,将 Inkling-2-Mini 模型从 18.89 GB 压缩至 5.38 GB,在 GSM8K 和 HumanEval 等基准测试中表现甚至优于体积更大的 Unsloth 量化版本。该工具利用 Fisher 信息校准和 Trellis 编码,在 Apple Silicon 上实现了惊人的推理速度,同时大幅降低显存占用。无论是 Qwen3.5-4B 还是 Qwen3.8-27B,该方法均能在极小文件体积下保持接近原始模型的数学与代码能力,为本地部署大模型提供了极具性价比的解决方案。
LookAtMyQuant 量化编译器通过测量模型压缩对输出的影响,为每个部分选择最优编码,从而在满足文件大小限制的同时实现最小的精度损失。