vLLM 如何修复 Tool-Call 准确率

Fixing Tool-Call Accuracy in vLLM

在使用 Kimi 和 DeepSeek 等开源模型时，我们发现 vLLM 的 Tool-Call 准确率仅有 92%，导致大量无效调用和上下文污染。通过启用 vLLM 0.31 版本新增的 constrained decoding 功能，我们成功将 schema 准确率提升至 100%。文章深入解析了 Tool-Call Schemas 的工作原理，探讨了为何概率性模型会生成格式错误的调用，并详细展示了 XGrammar 如何通过结构化标签在推理过程中实时过滤无效 Token。虽然 vLLM 出于兼容性考虑未默认开启此功能，但对于追求高质量 Agent 工作负载的部署而言，开启该特性是确保工具调用可靠性的关键。