Lumabri - Run huge MoE models on a P2P swarm
Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri
Lumabri는 순수 C로 작성된 경량 엔진으로, P2P 스웜을 통해 대규모 Mixture-of-Experts(MoE) 모델을 실행할 수 있게 해줍니다. GPU가 없는 머신도 참여할 수 있으며, 모델은 처음 사용 시 필요한 바이트만 피어로부터 받아 로컬에 미러링되어 이후에는 로컬 디스크에서 빠르게 응답합니다. 엔진 바이너리는 수정되지 않으며, CPU와 SSD에 최적화되어 있습니다. Lumabri는 트래커, 유지자, 전문가 노드로 구성되어 있으며, 여러 모델을 동시에 지원하고, NAT 환경에서도 동작합니다. 빠른 시작, 튜토리얼, 동시성 테스트를 통해 쉽게 시작할 수 있습니다.
GPU가 없는 스웜도 작동하는 스웜입니다. GPU를 모으는 네트워크는 소수에게서만 모집하지만, Lumabri는 모두에게서 모집합니다.