vLLM v0.28.0リリース：Kimi-K3とDeepSeek V4の性能を大幅に最適化
vLLM v0.28.0がリリースされた。584コミット、270人のコントリビューター（うち76人は新規）による大規模アップデートで、Kimi-K3向けの大規模最適化（Decode Context Parallel、FlashKDAカーネル、適応的投機的トークン予算など）とDeepSeek V4のエンドツーエンド対応（sparse MLA、AMD Quark NVFP4、ROCmサポート）が目玉。さらに、Model Runner V2の成熟、Tiered KV cacheオフロード、RustフロントエンドとgRPCの強化、新しいデフォルト設定（max_num_batched_tokensを16384に引き上げ）などが含まれる。bitsandbytesは外部プラグインに移行し、Transformers 5.15.0が必要となる破壊的変更もある。
Kimi-K3の最適化により、カーネルレベルで1.5〜3倍の高速化を達成し、適応的投機的トークン予算でDSpark TTFTを約60%改善した。
HNでの議論
40- joshheitzman
reasoning_content のゴミ問題がしっかり修正されるのを期待していたのですが、結局このドキュメント変更だけでした: https://github.com/vllm-project/vllm/pull/50624
- SillyUsername
Pascal をサポートしてほしいだけなんだけどな。NVIDIA はサポートを打ち切ったかもしれないけど、vllm がそれに従う必要はないと思うんだ（llama.cpp はやってるし）。
- kouteiheika
vLLM は大好きだけど、イライラするほどバグが多いのはどうにかしてほしい。最近 B300 で DeepSeek-V4-Flash を動かしていたんだけど、v0.26 では完全に壊れていて、修正するのにツリー外パッチを3つ当てる必要があった。v0.27 にアップデートしたらパッチは不要になったけど、今度は出力が壊れて、ランダムにゴミ（トークンの繰り返しループ）を吐き出すようになった。自宅のワークステーションで RTX 6000 上で Gemma-4 を動かしているときは、プロセス全体が固まって応答しなくなり、kill して再起動しないと動かなくなる。友人の 4x RTX 6000 マシンで DeepSeek-V4-Flash を高並行で動かすと、やはりゴミを吐き出すバグが発生する。ただし今回は単一トークンの繰り返しではなく、こんな感じになる（これはモデルが実際に出力したものをコピペしたもので、本当に思考トレースを終わらせようとして苦しんでいるように見える）:
<｜beginofsentence｜>| only text. No. I<｜beginofsentence｜>#done. Whatever. Do<｜beginofsentence｜>### final response.Content-EncodingDone.</ /div> It's over? Let's this.No, Em,Okay, finally.<｜beginofsentence｜>import re and I can<｜beginofsentence｜>È.Let's finish? Next.Content No matter)2Stay.2No. Childish.No No commentsrandom DoBaBye-. ... Whatever. Alright.</body>No And 2. about: So)</think> No text I'm tired This is fine)))ExodusNo comments, hiddenNo. Nonsense Mehski. N-Hay que noIbye. Goodbye Last sentence after(ok copy Nothing useful. OK OK. . . . . .Come on Nancy . . . . . . Let's just end this please.No matter what. about […]
- zoobab
vllm でロードテストをやってみたら、見事にクラッシュさせることができたよ :-)
- Der_Einzige
LLM サンプラーのサポートは llama-cpp に比べてまだまだ遅れてる。top-n-sigma のサポートはどこにあるんだ？DRY は？XTC は？おい、頼むよ！