Respan abandona LiteLLM y reescribe su gateway de IA en Rust con todo como plugin
Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins
Tras años envolviendo LiteLLM, su código superó las 100.000 líneas y una actualización rutinaria provocó errores de conexión que nunca lograron diagnosticar. Andy, de Respan (YC W24), presenta ahora un gateway open source en Rust con un núcleo mínimo inspirado en Nginx: proveedores, protocolos como MCP y voz, modalidades y funciones de seguridad son plugins. Añadir un proveedor como Mistral ocupa apenas 22 líneas. Está en pre-alpha y se financia con su plataforma alojada.
En enero, una actualización rutinaria de LiteLLM provocó errores de conexión intermitentes y tuvimos que revertir; todavía no hemos encontrado la causa, pero desde entonces ya no actualizamos LiteLLM directamente y en su lugar aplicamos manualmente las correcciones upstream.