Petals：像 BitTorrent 一样在家运行 LLM

Run large language models at home, BitTorrent‑style

Petals 项目让你无需昂贵硬件，就能像 BitTorrent 那样分布式运行大型语言模型。你可以加载模型的一部分，加入由全球用户组成的网络，共同完成推理任务。支持 Llama 3.1、Mixtral、Falcon 和 BLOOM 等主流模型，单批次推理速度可达每秒 6 个 token。相比传统 API，Petals 提供了 PyTorch 和 Transformers 的灵活性，允许自定义微调、采样方法及查看隐藏状态。无论是开发聊天机器人还是交互式应用，它都能提供 API 的便捷与本地开发的自由。