Respan переписала свой AI-шлюз на Rust после того, как обёртка над LiteLLM разрослась до 100 000 строк
Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins
Команда Respan (YC W24) выложила в open source AI-шлюз на Rust с ядром, которое только диспетчеризует события, а всё остальное — провайдеры, протоколы вроде MCP и голоса, модальности и функции надёжности — реализовано плагинами. Поводом стал инцидент в январе: плановое обновление LiteLLM вызвало сбои соединений, и причину так и не нашли. Теперь шлюз под MIT или Apache-2.0 можно запустить локально, не пользуясь хостингом Respan.
В какой-то момент наш код-обёртка превысил 100 000 строк.