vLLMのツール呼び出し精度、制約付きデコーディングで92%から100%へ

Fixing Tool-Call Accuracy in vLLM

UbicloudはKimi K2.6をvLLM 0.28で配信した際、ツール呼び出しがスキーマに従うのは92%にとどまり、25回に2回は失敗していた。vLLM 0.31で導入された制約付きデコーディングは、XGrammarの構造タグを使い生成の各段階で不正なトークンをマスクすることでスキーマ準拠を実行時に保証する。有効化後、K2VV ToolCallベンチマークで100%を確認し本番に展開した。