Mesh LLM: verteilte KI-Berechnung auf iroh

Mesh LLM: distributed AI computing on iroh

Mesh LLM vereint GPUs und Speicher über mehrere Maschinen zu einem einzigen OpenAI-kompatiblen API-Endpunkt. Statt auf zentrale Rechenzentren zu setzen, nutzt es ein Mesh aus iroh-Endpunkten, um Modelle lokal, auf Peers oder als Pipeline über mehrere Knoten zu verteilen. Die Software ist pluggable, unterstützt über 40 Modelle und ermöglicht sogar das Ausführen von 235B-MoE-Modellen auf mehreren kleineren Maschinen. iroh übernimmt NAT-Traversal und sichere QUIC-Verbindungen, ohne zentralen Server.