众人都在造LLM路由，我们却弃用了

Everyone is building LLM routers, we deprecated ours

我们不再相信模型路由的价值。在Manifest，我们曾推出LLM router作为LLM gateway的核心功能，试图通过动态选择模型来降低推理成本。但在服务7000名云用户四个月并收到大量反馈后，我们决定在9月1日彻底弃用该功能。我们发现，仅凭prompt无法准确判断任务复杂度，而缓存机制在降低成本上远比路由有效。更关键的是，频繁切换模型破坏了行为一致性，增加了不可预测性，导致维护成本反而上升。工程师应像工匠一样精心选择工具，而非依赖自动路由。最终我们得出结论：省下的钱往往在其他地方付出了更高代价。