M4 Pro Mac mini 本地部署 LLM 全攻略
My local model setup on an M4 Pro Mac Mini
我在 M4 Pro Mac mini 上搭建了一套本地 LLM 服务器，用 48GB 内存轻松运行 Qwen3.6-35B 和 Gemma-4-E4B 等模型。通过 oMLX 和 Tailscale，我实现了手机、MacBook 与 Mac mini 的无缝连接，彻底摆脱了云 API 的订阅费、数据隐私担忧和速率限制。本地部署不仅成本固定、响应零延迟，还能随时更换最新模型。对于日常 80% 的任务，本地模型已足够强大，且完全掌握在自己手中。
云 API 是租来的土地，它们随时可能改变定价、触碰你的使用上限，或者在幕后悄悄替换模型。
HN 评论区
196- JKCalhoun
这篇深度解析很棒。从模型的命名规范（以及它们所需的内存量）到所需的所有组件，都凸显了这一切目前依然多么复杂。
我想我还在等那个“开箱即用的 AI”出现，这样我就能（无痛地）加入这场游戏了。
（当然，我也相信折腾这些 LLM 的冷门细节对某些人来说挺有趣的。）
- amanzi
没提到模型的性能吗？我能在只有 16GB 内存的小迷你 PC 上加载一堆不同的模型，但性能糟糕透顶。我总好奇大家觉得本地模型的性能达到什么水平才算可接受？
- bambax
配置不错；不过，对于简单的任务或问题，AI 目前不是免费的吗？而且可能还会一直免费，毕竟我看不到 Google 会对搜索引擎里的 AI 功能收费的迹象？所以成本不应该成为在本地运行小模型的动机吧？
对于更复杂或重要的任务，成本、自主权和隐私确实很重要，但性能和质量同样关键。
所以我并不完全确信这真的值得；不过确实很诱人！
- akg_67
最近我在 M1 Max 32GB MacBook 上使用 oMLX 的性能数据。我一直在为我的使用场景和系统寻找合适的模型和配置。使用 VSCode Cline 扩展，针对特定的 Django 代码块进行重构和提出改进建议的提示词测试。
---
Qwen3.8-27B-4bit，提示处理 (PP) 66.3 tok/s，Token 生成 (TG) 11.8 tok/s
Ornith-1.5-35B-A3B-MLX-4bit，PP 379.7，TG 45.8
Ornith-1.5-35B-A3B-MLX-4bit，PP 381.5，TG 46.4
Qwen3.6-35B-A3B-mxfp4，PP 389.6，TG 47.6
Qwen3.6-35B-A3B-OptiQ-4bit，PP 342.6，TG 44.4
---
Qwen3.8-27B-4bit 通常会在任务完成前就耗尽输出 Token，尽管它给出的部分结果非常出色。
Ornith-1.5-35B-A3B-MLX-4bit 似乎经常陷入循环，特别是在涉及工具调用时。
Qwen3.6-35B-A3B-mxfp4 在速度和输出质量方面似乎是最优的。
我打算很快用同样的代码块测试 Qwen3.6-35B-A3B-4bit，以验证我的直觉：任何衍生版本似乎都不如原版表现好。
- jumploops
我在 M4 Max/128GB RAM 上运行本地 LLM 遇到的最大问题是预填充延迟（prefill latency）。
后来我搞了两台 DGX Spark，感觉响应速度快多了。
- amelius
> 运行本地的主要原因：云 API 是租来的地盘。他们随时可能更改定价、触碰你的使用限额，或者在后台随意更换正在服务的模型。
没错，但替换它们很容易。
主要原因应该是隐私。
- whatsThisBtn4
Apple 在说服人们相信他们的统一内存对 AI 很有用方面做得很棒。连 AI 都说 Apple 是史上营销最好的公司。
与此同时，股市上 Nvidia 却稳居榜首……直到所有人都用上 CUDA 为止。
- sdevonoes
提示：附上你机器的照片。不知道是不是只有我这样，但我超喜欢看别人的配置。