vLLM v0.28.0 출시: Kimi-K3 및 DeepSeek V4 성능 대폭 최적화
vLLM v0.28.0이 584개의 커밋과 270명의 기여자(신규 76명)로 출시되었습니다. 이번 릴리스의 핵심은 Kimi-K3와 DeepSeek V4 모델에 대한 대규모 성능 최적화입니다. Kimi-K3는 Decode Context Parallel(DCP), fused FlashKDA 커널, SiTU activation, GEMM-RS 시퀀스 병렬화, 적응형 speculative 토큰 예산(약 60% TTFT 개선), GPU당 약 17GiB 메모리 절약 등의 개선이 포함됩니다. DeepSeek V4는 sparse MLA가 일반 decode, MTP, DSpark speculative decoding에서 엔드투엔드로 작동하며, AMD Quark NVFP4 지원, ROCm gfx11/gfx950 지원이 추가되었습니다. 또한 speculative decoding의 DFlash2와 DSpark 개선, Model Runner V2의 E/P/D 분리, tiered KV cache offloading(디스크 offload 포함), Rust 프론트엔드와 gRPC 멀티모달 추론, 새로운 기본값(예: max_num_batched_tokens 16384) 등이 포함됩니다. breaking changes로는 bitsandbytes가 out-of-tree 플러그인으로 전환되고, Transformers 5.15.0으로 업그레이드되었습니다.
Kimi-K3의 적응형 speculative 토큰 예산은 DSpark TTFT를 약 60% 개선했으며, 선택적 shared-expert sharding은 GPU당 약 17GiB의 메모리를 절약합니다.
HN 토론
40- joshheitzman
reasoning_content 관련 문제가 제대로 고쳐지길 바랐는데, 결국 이 문서 변경만 나왔네요: https://github.com/vllm-project/vllm/pull/50624
- SillyUsername
그냥 Pascal 지원해줬으면 좋겠어요 :(
Nvidia가 지원을 포기했더라도 vLLM이 포기할 필요는 없잖아요 (llama.cpp는 안 했잖아요).
- kouteiheika
vLLM을 좋아하지만, 정말 짜증날 정도로 버그가 많네요.
최근에 B300에서 DeepSeek-V4-Flash를 돌리고 있었는데, v0.26에서는 완전히 망가져서 세 개의 외부 패치를 추가해야 했어요. v0.27로 업데이트했더니 이제 패치는 필요 없는데, 출력이 망가져서 무작위로 쓰레기(반복 토큰 루프)를 응답하기 시작해요. RTX 6000에서 Gemma-4를 돌리는 제 워크스테이션에서는 전체 프로세스가 멈춰서 응답하지 않고, 죽이고 다시 시작해야만 작동해요. 친구의 4x RTX 6000 박스에서 DeepSeek-V4-Flash를 높은 동시성으로 돌릴 때도 어떤 버그가 발생해서 쓰레기를 뱉는데, 이번에는 단일 반복 토큰이 아니라 이렇게 생겼어요: (모델이 실제로 출력한 것을 복사해서 붙여넣은 것인데, 진짜로 생각 추적을 끝내려고 애쓰면서도 못 끝내는 것처럼 보여요)
<｜beginofsentence｜>| only text. No. I<｜beginofsentence｜>#done. Whatever. Do<｜beginofsentence｜>### final response.Content-EncodingDone.</ /div> It's over? Let's this.No, Em,Okay, finally.<｜beginofsentence｜>import re and I can<｜beginofsentence｜>È.Let's finish? Next.Content No matter)2Stay.2No. Childish.No No commentsrandom DoBaBye-. ... Whatever. Alright.</body>No And 2. about: So)</think> No text I'm tired This is fine)))ExodusNo comments, hiddenNo. Nonsense Mehski. N-Hay que noIbye. Goodbye Last sentence after(ok copy Nothing useful. OK OK. . . . . .Come on Nancy . . . . . . Let's just end this please.No matter what. about […]
- zoobab
vllm으로 부하 테스트 좀 해봤는데, 크래시를 일으키는데 성공했어요 :-)
- Der_Einzige
llama-cpp에 비해 LLM 샘플러 지원이 여전히 한참 뒤처져 있어요. top-n-sigma 지원은 어디에 있나요? DRY는요? XTC는요? 제발 좀요!