Respan, LiteLLM 래퍼 10만 줄을 버리고 Rust로 AI 게이트웨이를 새로 만들다
Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins
Respan은 모든 것을 플러그인으로 처리하는 오픈소스 Rust AI 게이트웨이를 공개했다. 2024년부터 LiteLLM을 감싸 수천 개 조직에 서비스를 제공했지만, 래퍼 코드가 10만 줄을 넘어섰고 1월 업그레이드가 간헐적 연결 오류를 일으키자 직접 재설계를 택했다. Nginx에서 영감을 받아 이벤트 디스패치만 담당하는 작은 코어와 공개 인터페이스를 제공하며, Mistral 프로바이더는 22줄에 불과하다. MIT/Apache-2.0 라이선스의 pre-alpha 단계다.
1월에 사소한 LiteLLM 업그레이드가 간헐적 연결 오류를 일으켜 롤백해야 했습니다. 아직 원인을 파악하지 못했지만, 그 이후로는 LiteLLM을 직접 업그레이드하지 않고 업스트림 수정 사항을 수동으로 백포트하고 있습니다.