Lumabri - Run huge MoE models on a P2P swarm

Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri

Lumabri ist eine in reinem C geschriebene Engine, die es ermöglicht, riesige Mixture-of-Experts-Modelle (MoE) auf einem Peer-to-Peer-Netzwerk auszuführen. Ein einzelner Rechner teilt das Modell, andere Rechner können sofort damit chatten, ohne etwas vorab herunterzuladen – die benötigten Bytes werden erst bei der ersten Nutzung vom Peer geholt und lokal gespiegelt. Dadurch können auch Rechner ohne GPU teilnehmen, und die Ausgabe ist byte-identisch, egal ob CPU oder GPU genutzt wird. Lumabri unterstützt mehrere Modelle gleichzeitig, private Swarms und NAT-Umgebungen. Es ist ideal für alle, die große Modelle ohne teure Hardware nutzen möchten.