Lumabri - Run huge MoE models from a swarm of peers

Show HN: Lumabri – What if LLMs worked like Napster?

Lumabri는 순수 C로 작성된 경량 엔진으로, 피어 간 스웜을 통해 대규모 Mixture-of-Experts(MoE) 모델을 실행할 수 있게 해줍니다. 모델을 보유한 한 대의 머신이 공유하고, 다른 머신은 사전 다운로드 없이 즉시 채팅을 시작할 수 있습니다. 추론에 필요한 바이트만 피어로부터 스트리밍되어 로컬에 캐시되므로, 두 번째 질문부터는 로컬 디스크에서 전체 속도로 응답합니다. GPU가 없는 머신도 참여할 수 있으며, CPU와 SSD만으로도 완전히 작동합니다. 스웜은 익명성을 유지하고, NAT 환경에서도 릴레이를 통해 작동합니다. 간단한 명령어로 서버와 클라이언트를 실행할 수 있으며, 모델 전환도 지원합니다.