Bonsai 27B：手机也能跑 27B 大模型
Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone
我们推出了 Bonsai 27B，这是全球首个能在手机上运行的 27B 级大模型。基于 Qwen3.6 27B，它通过 1-bit 和三值量化技术，将模型体积压缩至 3.9GB 到 5.9GB，同时保留了 90% 以上的原始智能。无论是数学推理、代码生成还是多模态任务，Bonsai 27B 都能在 iPhone 17 Pro 或普通笔记本上流畅运行。这意味着，真正的智能代理（Agentic）工作流不再依赖云端，用户数据可以完全本地处理，彻底改变了 AI 部署的经济模型和隐私边界。
原始能力决定了模型能做什么，而密度决定了它能在哪里运行。
- 有开发者实测 Qwen3.6-27B 在 M1 Pro 16GB 设备上运行良好，但在处理 24000 tokens 的 system prompt 时出现显存瓶颈导致速度下降。
- 部分用户指出该模型在 agentic coding 场景表现优异，但在复杂任务中工具调用（tool calling）能力不足，仍落后于 Claude 等云端模型。
- 评论者担忧 1.56-bit 的极端量化（ternary）虽然大幅降低内存占用，但可能导致模型陷入推理循环或牺牲通用知识能力。
- 有观点认为本地运行 27B 级模型将颠覆依赖隐私包装的 SaaS 商业模式，使银行等机构无需外包即可自托管高智能模型。
- 针对模型能力的测试存在分歧，一方认为能背诵《Jabberwocky》证明模型优秀，另一方则认为这仅衡量训练数据记忆而非真实推理能力。