Ubicloud подняла точность вызова инструментов в vLLM с 92% до 100%
Fixing Tool-Call Accuracy in vLLM
При обслуживании Kimi K2.6 через vLLM версии 0.28 только 92% вызовов инструментов соответствовали схеме — каждый двадцать пятый вызов ломался и засорял контекст агента. Ubicloud включила constrained decoding, появившийся в vLLM 0.31: на этапе генерации движок маскирует токены, ведущие к синтаксически неверному вызову. После проверки на бенчмарке K2VV ToolCall они получили 100% точности схемы для Kimi и DeepSeek.
Это превращает точность схемы из подхода «как получится» в гарантию на уровне выполнения.