Lumabri - Run huge MoE models on a P2P swarm

Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri

Lumabriは、ピアツーピアのスウォーム上で巨大なMixture-of-Expertsモデルを実行できるオープンソースツールです。Pure Cで書かれ、依存関係もありません。1台のマシンがモデルを共有し、他のマシンはダウンロードなしで即座にチャットできます。必要なバイトだけがネットワーク経由で届き、ローカルにキャッシュされるため、2回目以降の応答はフルスピードで返ります。GPUがなくても動作し、CPUとSSDを最優先に設計されています。GPUがあれば高速化されますが、出力はバイト単位で同一です。複数のモデルを1つのスウォームで扱え、匿名のピア管理、NAT越えのリレー、トークンによるプライベートスウォームもサポート。セットアップは簡単で、5分で最初のスウォームを構築できます。