Respan:用插件重构 AI 网关的未来
Launch HN: Respan (YC W24) – Open-source Rust AI gateway built around plugins
我是 Respan 的 Andy。我们受 Nginx 启发,用 Rust 打造了一款全新的开源 AI 网关。不同于传统方案将功能硬编码进核心,Respan 坚持“小核心、全插件”架构。无论是 OpenAI、Anthropic 等服务商,还是 MCP 协议、语音模态,甚至 PII 脱敏等安全功能,全部以插件形式存在。我们曾因过度包装 LiteLLM 导致代码膨胀至 10 万行且难以维护,因此决定彻底重写。现在,开发者只需编写简短代码即可添加新 Provider 或自定义特性,无需触碰核心。Respan 不仅能自动处理工具调用和图像协议,还能在保持原生字段的同时实现格式转换。目前项目已开源,我们期待社区共同构建插件生态。
添加一个 Provider 甚至是你自己的都极其简单,因为 quirks 也是插件,它们没有任何神秘之处。