Ubicloud hebt die Tool-Call-Genauigkeit von Kimi und DeepSeek auf 100 Prozent
Fixing Tool-Call Accuracy in vLLM
Bei vLLM 0.28 erfüllten nur 92 Prozent der Tool-Calls von Kimi K2.6 das erwartete Schema – jeder 25. Aufruf schlug fehl und verschmutzte den Kontext agentischer Workloads. Ubicloud aktiviert deshalb die eingeschränkte Dekodierung (constrained decoding) über das neue Flag --tool-strict-level in vLLM 0.31: XGrammar maskiert ungültige Tokens schon während der Generierung. Im K2VV-ToolCall-Benchmark stieg die Schema-Genauigkeit so von 92 auf 100 Prozent, praktisch ohne Performance-Verlust.
Die Schema-Genauigkeit ändert sich damit von einem Best-Effort-Ansatz zu einer Laufzeitgarantie.