Respan baut nach 100.000 Zeilen Wrapper-Code sein eigenes AI-Gateway in Rust
Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins
Respan (YC W24) hat sein LiteLLM-basiertes Gateway aufgegeben, nachdem ein Routine-Upgrade im Januar Verbindungsfehler verursachte und der Wrapper-Code auf über 100.000 Zeilen angewachsen war. Das neue Open-Source-Gateway in Rust folgt dem Nginx-Prinzip: ein winziger Kern, der nur Events verteilt, während alles andere – Provider, Protokolle wie MCP und Realtime Voice, Modalitäten und Funktionen wie Fallbacks oder PII-Redaction – als Plugin läuft. Ein Provider ist oft nur eine kurze Datei; Mistral etwa umfasst 22 Zeilen.
In diesem Januar verursachte ein routinemäßiges LiteLLM-Upgrade zeitweise Verbindungsfehler, und wir mussten zurückrollen. Die Ursache haben wir bis heute nicht gefunden.