vLLM v0.28.0: 584 Commits, 270 Contributors, und massive Performance-Sprünge für Kimi-K3 und DeepSeek V4
vLLM v0.28.0 ist da – mit 584 Commits von 270 Mitwirkenden (76 neue). Im Fokus stehen große Performance-Optimierungen für Kimi-K3, darunter Decode Context Parallelism, fusionierte FlashKDA-Kernel und ein adaptives spekulatives Token-Budget, das die DSpark TTFT um ~60% verbessert. DeepSeek V4 erhält end-to-end sparse MLA für Decode, MTP und DSpark sowie AMD Quark NVFP4-Support. Weitere Highlights: Model Runner V2 mit E/P/D-Disaggregation und Weight Offloading, Tiered KV Cache Offloading auf Disk, ein Rust-Frontend mit gRPC, neue Modelle wie Muse Glimmer und Ling 3.0 Flash, sowie neue Defaults wie max_num_batched_tokens=16384. Breaking Changes: bitsandbytes wird zum out-of-tree Plugin, Transformers erfordert 5.15.0.
Kimi-K3 erhält ein adaptives spekulatives Token-Budget, das eine ~60% bessere DSpark TTFT liefert.
- joshheitzman
Ich hatte gehofft, dass das reasoning_content-Durcheinander endlich richtig behoben würde, aber alles, was wir bekamen, war diese Doc-Änderung: https://github.com/vllm-project/vllm/pull/50624
- SillyUsername
Ich wünschte nur, sie würden Pascal unterstützen :(
Nvidia hat den Support vielleicht aufgegeben, aber das heißt nicht, dass vllm das auch tun muss (llama.cpp hat es ja auch nicht).
- kouteiheika
Ich liebe vLLM, aber verdammt, es ist frustrierend buggy.
Ich habe kürzlich DeepSeek-V4-Flash auf einer B300 ausgeführt. Mit v0.26 war es völlig kaputt, und ich musste drei Out-of-Tree-Patches hinzufügen, um es zu reparieren. Ich habe auf v0.27 aktualisiert – jetzt sind keine Patches nötig, aber die Ausgabe ist jetzt kaputt, da es zufällig anfängt, Müll zu antworten (wiederholte Token-Schleifen). Auf meiner Workstation, auf der ich Gemma-4 auf einer RTX 6000 laufen lasse, neigt der gesamte Prozess dazu, hängen zu bleiben und nicht mehr zu antworten, und muss gekillt und neu gestartet werden, damit er wieder funktioniert. Auf dem Rechner meines Freundes mit 4x RTX 6000, auf dem er DeepSeek-V4-Flash mit hoher Nebenläufigkeit ausführt, löst das ebenfalls eine Art Bug aus, bei dem er Müll ausspuckt, aber diesmal ist es kein einzelnes wiederholtes Token und sieht so aus: (das ist direkt von der Modellausgabe kopiert, sieht wirklich so aus, als hätte es Schmerzen, seinen Denkprozess zu beenden, aber es nicht zu schaffen)
<｜beginofsentence｜>| only text. No. I<｜beginofsentence｜>#done. Whatever. Do<｜beginofsentence｜>### final response.Content-EncodingDone.</ /div> It's over? Let's this.No, Em,Okay, finally.<｜beginofsentence｜>import re and I can<｜beginofsentence｜>È.Let's finish? Next.Content No matter)2Stay.2No. Childish.No No commentsrandom DoBaBye-. ... Whatever. Alright.</body>No And 2. about: So)</think> No text I'm tired This is fine)))ExodusNo comments, hiddenNo. Nonsense Mehski. N-Hay que noIbye. Goodbye Last sentence after(ok copy Nothing useful. OK OK. . . . . .Come on Nancy . . . . . . Let's just end this please.No matter what. about […]
- zoobab
Ich habe ein paar Lasttests mit vllm gemacht und es geschafft, es zum Absturz zu bringen :-)
- Der_Einzige
Immer noch weit hinter llama-cpp beim LLM-Sampler-Support. Wo ist der Support für top-n-sigma? für DRY? für XTC? Kommt schon, Leute!