Mesh LLM: 흩어진 GPU를 하나의 AI로 묶는 분산 컴퓨팅

Mesh LLM: distributed AI computing on iroh

Mesh LLM은 사무실, 벽장, 책상 아래에 있는 GPU를 모아 하나의 OpenAI 호환 API로 노출하는 분산 AI 컴퓨팅 프로젝트입니다. 중앙 서버 없이 iroh의 NAT 통과 및 QUIC 프로토콜을 활용해 노드 간 직접 연결을 구성하며, 모델을 여러 머신에 분할해 실행하는 'Skippy' 모드도 지원합니다. 40개 이상의 모델을 제공하며, 로컬 실행, 피어 라우팅, 파이프라인 분할의 세 가지 방식으로 요청을 처리합니다. 이 글은 아키텍처와 프로토콜 설계를 자세히 설명합니다.