Respan、LiteLLMのラッパーが10万行に膨らんだ末、Rust製AIゲートウェイを自作

Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins

Respanは2024年からLiteLLMをラップして数千組織にサービスを提供してきたが、ラッパーコードは10万行を超え、今年1月のアップグレードで原因不明の接続エラーが発生。これを機に、Nginxに着想を得た小さなコアとプラグインで構成するRust製AIゲートウェイをMIT/Apache-2.0で公開した。プロバイダーやプロトコル、画像・動画、フォールバックやPII除去まで、すべてをプラグインとして差し替えられる。