vLLM의 도구 호출 정확도, 제약 디코딩으로 92%에서 100%로 끌어올리다
Fixing Tool-Call Accuracy in vLLM
Ubicloud는 vLLM 0.28로 Kimi K2.6을 서빙할 때 도구 호출 스키마 정확도가 92%에 그쳐 25번 중 2번꼴로 호출이 실패하는 문제를 겪었다. vLLM 0.31에 추가된 제약 디코딩은 XGrammar의 구조적 태그로 유효한 토큰만 샘플링하도록 강제해 스키마 준수를 런타임에 보장한다. Ubicloud는 이 기능을 켜고 K2VV ToolCall 벤치마크에서 100% 정확도를 확인한 뒤 프로덕션에 배포했다.
모델은 확률에 기반해 토큰을 생성할 뿐, 컴파일러나 타입 검사기를 돌리는 것이 아니다. 프롬프트가 명확하더라도 잘못된 형식의 도구 호출을 만들어낼 수 있다.