Unsloth 推出 Qwen3.8-27B 量化更新
Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update

Unsloth 发布了 Qwen3.8-27B 的最新动态量化版本,采用 Unsloth Dynamic V3.1 算法,在保持模型体积不变的情况下,将平均准确率提升了 5% 到 10%。这款拥有 256K 上下文窗口和视觉推理能力的模型,现在可以在仅需 17GB 内存的设备上本地运行。文章详细对比了 Unsloth 量化方案与 GSQ-RCO、Exllama-v3 等竞品的性能差异,并通过多轮测试数据反驳了部分基准测试的片面结论。此外,还介绍了针对 NVIDIA Blackwell 架构优化的 NVFP4 量化格式,推理速度比 BF16 快 1.5 倍,同时通过 Unsloth Desktop 实现了跨平台的便捷部署。
我们很高兴发布采用更新版 Unsloth Dynamic V3.1 算法的新 Qwen3.8-27B GGUF,该算法在大多数基准测试中,能在相同模型体积下将 Unsloth 量化模型的准确率提升 5% 到 10%。