Ubicloud eleva la precisión de las llamadas a herramientas de vLLM del 92 % al 100 %
Fixing Tool-Call Accuracy in vLLM
Al servir Kimi K2.6 con vLLM 0.28, solo el 92 % de las llamadas a herramientas seguían el esquema esperado: dos de cada 25 fallaban y contaminaban el contexto en cargas agénticas. vLLM incorporó la decodificación restringida mediante XGrammar, que enmascara los tokens inválidos durante la generación, y la expuso con el flag --tool-strict-level. Ubicloud lo activó, verificó el 100 % de precisión en el benchmark K2VV ToolCall y lo desplegó en producción.
La precisión del esquema suele quedarse corta por la naturaleza probabilística de los modelos de lenguaje. Un modelo genera tokens según su probabilidad; no ejecuta un compilador ni un verificador de tipos.