Petals：像 BitTorrent 一样在家运行 LLM
Run large language models at home, BitTorrent‑style
Petals 项目让你无需昂贵硬件，就能像 BitTorrent 那样分布式运行大型语言模型。你可以加载模型的一部分，加入由全球用户组成的网络，共同完成推理任务。支持 Llama 3.1、Mixtral、Falcon 和 BLOOM 等主流模型，单批次推理速度可达每秒 6 个 token。相比传统 API，Petals 提供了 PyTorch 和 Transformers 的灵活性，允许自定义微调、采样方法及查看隐藏状态。无论是开发聊天机器人还是交互式应用，它都能提供 API 的便捷与本地开发的自由。
你既能享受 API 的便捷，又能拥有 PyTorch 和 Transformers 的灵活性。
HN 评论区
38- woctordho
Petals 是 2022 年的项目。如今，小模型的智能水平、量化技术以及让消费者级 GPU 更快运行模型的优化方案都有了很大提升。
对于适合单张消费级 GPU 运行的小型 LLM 和扩散模型的分布式推理（而非在多台机器上拆分），已经有一些相当不错的解决方案，比如 AI Horde（前身为 Stable Horde）[0]。值得注意的是，它是 SillyTavern 的默认提供商。它还有一个有趣的 kudos 经济模型。
- N_Lens
这个概念很有趣，但时机可能太早了。如果有更多人拥有可靠、低延迟的千兆甚至理想的 10G 带宽，那么它或许开始变得可行。当然还有其他阻碍因素，但这是最先想到的。
想象一个通过光纤互联的行星级神经网络——行星智能的神经系统，这很酷。但也许蘑菇早就做到了（《半人马座阿尔法星》是否依然切题？）。
- maccam912
最近讨论的 https://meshllm.cloud/ 是我一直在尝试的项目，但我没有硬件来测试在多个节点之间拆分模型的功能，据称这是支持的，只是不在公开演示中。
- wxw
嗯，看起来这是一个与 HuggingFace（https://huggingface.co/bigscience）相关的旧项目（2022 年）。
看起来现在不太活跃了：https://github.com/bigscience-workshop/petals
更多细节的文章：https://techcrunch.com/2022/12/20/petals-is-creating-a-free-...
> [...] 志愿者可以捐赠他们的硬件算力来处理文本生成任务的一部分，并与其他人合作完成更大的任务，类似于 Folding@home 和其他分布式计算设置。
- dang
相关讨论。还有其他的吗？
像 BitTorrent 一样在家运行 LLM - https://news.ycombinator.com/item?id=37546810 - 2023 年 9 月（125 条评论）