Petals: Große Sprachmodelle zu Hause ausführen – BitTorrent-Stil

Run large language models at home, BitTorrent‑style

Petals ist ein Open-Source-Projekt, das es ermöglicht, große Sprachmodelle wie Llama 3.1 (bis zu 405B Parameter) oder Mixtral auf handelsüblicher Hardware zu Hause auszuführen. Statt das gesamte Modell lokal zu laden, lädt man nur einen Teil und verbindet sich mit einem Peer-to-Peer-Netzwerk, das die anderen Teile bereitstellt. So erreicht man Inferenzgeschwindigkeiten von bis zu 6 Tokens pro Sekunde bei Llama 2 70B – genug für Chatbots und interaktive Anwendungen. Petals bietet die Flexibilität von PyTorch und Transformers, einschließlich Fine-Tuning und Zugriff auf verborgene Zustände.