模型路由的四大核心原则

First Principles of Model Routing

在构建 role-model 路由器的过程中，我总结了四条模型路由的核心原则。首先，保持模型差异化，避免在性能相近的 GPT 和 Opus 之间纠结，而应将前沿模型与在速度、质量或成本上有明显优势的模型搭配。其次，控制模型池规模，默认限制为两个，除非新模型能明确提升某项指标，否则盲目增加只会让决策更复杂。第三，使用相对的真实世界基准测试，而非依赖外部元数据，因为模型在不同端点和任务上的表现差异巨大。最后，通过评估历史决策来丰富路由数据，利用用户实际反馈和遥测数据来动态优化路由策略，这才是预测未来表现的最佳信号。

"除非你的模型具有显著差异，否则不要增加模型池的规模；默认限制为两个，只有当你能清晰定义每个模型的角色时，才考虑添加更多。"