slotstream: 让Mac流式运行百十亿参数大模型
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
slotstream 是一个基于 MLX 和 Swift 构建的创新工具，它能让内存有限的 Mac 运行高达 104GB 的 Qwen3.8-Flash-Next 大模型。通过独特的 SSD 专家流式加载技术，它突破了显存瓶颈，在 48GB 内存的 Mac 上实现了约 12 tok/s 的流畅推理速度。该项目提供与 Ollama 和 OpenAI 兼容的 API，用户只需一条命令即可安装，无需担心内存不足，让本地大模型推理变得更加轻松高效。
磁盘才是最先咬人的门槛，而非你的内存。
HN 评论区
116- embedding-shape
> Hugging Face 才是瓶颈，不是你的网速。
README 明显需要清理一下，现在的样子更像是一次会话日志的倾倒，而不是给新用户介绍项目的好文档。或许可以试着这样做：“删除 README.md 中任何对首次接触该项目且毫无背景知识的人无用的内容。重写所有段落和章节，使其简洁明了，去除所有废话，只保留新用户在使用项目前必须知道的重要细节”。
- mulemisterX
我有一台 48GB 显存的 M5。我不需要运行更大的模型，我想要的是更多的上下文。我已经设法将上下文窗口设置到了 71,680，使用的是 Qwen3.8-27B-oQ4e-fp16-mtp。但我想要更多。有没有和我配置类似的人能把上下文窗口设置得更高？
- prometheus1992
很难相信 16GB 统一内存能跑出 5 tok/sec，除非你无视了过热警告。我在 16GB 的 M3 上运行 Qwen3.6-35B-A3B，在应用所有优化并严格控制峰值内存和过热警告的情况下，能达到 7-8 tokens/sec。https://github.com/deepanwadhwa/samosa-chat
- whartung
我很期待看到这个领域的进展。
有人在说 32G 对于本地使用不够，但随后又出现了像这样的技术来赋能它。
我希望能看到新款 32G 的 M6 在本地变得“有用”，这或许要归功于像这样的技术。
- jmward01
这虽然不属于 Mac/UMA 的讨论范畴，但现在是时候给 GPU 增加额外的、可安装的 DDR5 内存了吗？我觉得这可能是双刃剑。PCIe 5x16 的带宽已经接近高端双通道 DDR5 的极限，但还没完全达到。我不是硬件专家，但我怀疑把内存直接放在显卡上，相比使用系统内存，能带来显著的性能提升。这样一来，像这种能够卸载 MOE 权重的系统，其性能将比单纯给系统增加 DDR5 更高。更大的模型将更触手可及，这也为开发利用这一特性的技术提供了更多路径。当然，不利的一面是，你只是在显卡上堆了很多专用内存，而不是放到系统里供其他用途使用。我可以看到一种应用场景：一张 16GB 显存的显卡配备 64GB（或更多）的 DDR5，尤其是如果我们开始看到 MOE 和类似技术真正为这一概念而设计时。
- drcongo
“磁盘是第一个咬人的大门”
AI 版 TL;DR
- jacquesm
我非常喜欢这些在低成本硬件上运行正规模型的尝试，我认为真正的下一个突破将来自这里。这类技术越高效，这项技术民主化的几率就越大。“足够好”才是你需要的，只要“顶级配置”能提供竞争优势，哪怕代价高昂，在不久的将来，通用计算的大门也有可能关闭。请记住，没有任何保证说钟摆一定会摆回来，它可能会向一个方向摆动并卡住，到时候你就只能向拥有者乞讨残羹冷炙了。
- atif089
作为一个只看这些模型理论基准测试的人，我很好奇是否有人能分享一下，flash-next 解决了哪些问题（也许是在代码方面），而 27b 却无法解决？