Mesh LLM：用闲置GPU跑大模型

Mesh LLM: distributed AI computing on iroh

还在为昂贵的数据中心和按月暴涨的API账单发愁？Mesh LLM提供了一种全新的思路：它利用iroh协议，将你办公室、甚至桌下闲置的GPU和内存汇聚成一个分布式网络。无论是本地运行、路由到同伴节点，还是将超大模型拆分到多台机器协同计算，它都能自动调度。对用户而言，只需连接localhost:9337/v1，就能像调用OpenAI API一样使用强大的模型，却无需购买昂贵的硬件或受制于第三方服务商。这不仅大幅降低了成本，更将数据的控制权真正交还给了用户。

"当你想到运行大型语言模型时，脑海中浮现的往往是数据中心：一排排属于他人的GPU机架、按量计费的API，以及随着你业务成功而不断上涨的账单。"