Mesh LLM convierte GPUs dispersas en una API de IA unificada

Mesh LLM: distributed AI computing on iroh

Mesh LLM, un proyecto de iroh, permite agrupar GPUs y memoria de múltiples máquinas para ejecutar modelos de lenguaje grandes como si fueran uno solo, exponiendo todo como una API compatible con OpenAI. La arquitectura distribuida usa iroh para conexiones QUIC autenticadas y NAT traversal, sin servidor central. Soporta ejecución local, enrutamiento a pares y división de modelos grandes en pipelines entre nodos. Con más de 40 modelos disponibles, desde 0.5B hasta 235B parámetros, ofrece una alternativa descentralizada a los proveedores de IA en la nube.