Mesh LLM：用闲置GPU跑大模型
Mesh LLM: distributed AI computing on iroh
还在为昂贵的数据中心和按月暴涨的API账单发愁？Mesh LLM提供了一种全新的思路：它利用iroh协议，将你办公室、甚至桌下闲置的GPU和内存汇聚成一个分布式网络。无论是本地运行、路由到同伴节点，还是将超大模型拆分到多台机器协同计算，它都能自动调度。对用户而言，只需连接localhost:9337/v1，就能像调用OpenAI API一样使用强大的模型，却无需购买昂贵的硬件或受制于第三方服务商。这不仅大幅降低了成本，更将数据的控制权真正交还给了用户。
当你想到运行大型语言模型时，脑海中浮现的往往是数据中心：一排排属于他人的GPU机架、按量计费的API，以及随着你业务成功而不断上涨的账单。
- 有评论者指出，分布式推理的瓶颈在于网络延迟而非带宽，因为跨设备传输的是少量向量数据，这导致互联网环境下的生成速度极低，但在低延迟局域网中配合 speculative decoding 则可行。
- 一位用户分享了一手体验，称通过 mesh-llm 和 iroh 将闲置 MacBook Pro 加入集群的过程极其顺畅，实现了模型自动下载、服务启动及 GPU 负载可视化的无缝衔接。
- 针对安全性质疑，评论者澄清数据传输虽经过加密可防窃听，但并非端到端加密，参与推理的节点仍能看到用户的输入和输出内容。
- 有观点反驳了将模型权重从内存或磁盘加载到 GPU 的传统方案，认为分布式架构能利用各节点更高的 VRAM 带宽，避免存储带宽成为生成阶段的瓶颈。
- 部分用户将该项目与 exo 进行对比，并指出项目文档在 API key 管理机制上的表述存在混淆，同时有人质疑其底层推理引擎是否基于 llama.cpp 或 vLLM 等现有栈。