vLLM v0.28.0: оптимизация Kimi-K3, поддержка DeepSeek V4 и 584 коммита
Вышел vLLM v0.28.0 — крупное обновление с 584 коммитами от 270 контрибьюторов (76 новичков). Главные изменения: значительная оптимизация производительности для Kimi-K3 (включая Decode Context Parallel, fused-ядра FlashKDA, адаптивный бюджет спекулятивных токенов, экономию ~17 GiB памяти на GPU), поддержка DeepSeek V4 (sparse MLA, AMD Quark NVFP4, ROCm), прогресс в спекулятивном декодировании (DFlash2, DSpark), созревание Model Runner V2, выгрузка KV-кэша на диск, Rust-фронтенд с gRPC и новые модели (Muse Glimmer, Ling 3.0 Flash и др.). Также изменены значения по умолчанию и есть несколько ломающих изменений, включая перенос bitsandbytes в отдельный плагин.
Kimi-K3 также теперь работает на ROCm с V2 model runner.
- joshheitzman
Я надеялся, что беспорядок с reasoning_content наконец-то нормально починят, но всё, что мы получили, — это изменение в документации: https://github.com/vllm-project/vllm/pull/50624
- SillyUsername
Хотелось бы, чтобы они поддерживали Pascal :(
Nvidia, возможно, отказалась от поддержки, но это не значит, что vllm обязаны (llama.cpp же не отказался).
- kouteiheika
Я обожаю vLLM, но, чёрт возьми, он до ужаса багованный.
Недавно я запускал DeepSeek-V4-Flash на B300. На v0.26 он был полностью сломан, и мне пришлось добавить три сторонних патча, чтобы починить. Я обновился до v0.27 — патчи больше не нужны, но теперь вывод сломан: он случайно начинает отвечать мусором (зацикленные повторяющиеся токены). На моей рабочей станции, где я запускаю Gemma-4 на RTX 6000, процесс часто зависает и перестаёт отвечать, и его приходится убивать и перезапускать, чтобы он снова заработал. На машине моего друга с 4x RTX 6000, где он запускает DeepSeek-V4-Flash, высокая конкурентность тоже вызывает какой-то баг, при котором он извергает мусор, но в этот раз это не один повторяющийся токен, а выглядит это так: (это скопировано прямо из вывода модели, похоже, она мучилась, пытаясь завершить свою цепочку рассуждений, но не могла)
<｜beginofsentence｜>| only text. No. I<｜beginofsentence｜>#done. Whatever. Do<｜beginofsentence｜>### final response.Content-EncodingDone.</ /div> It's over? Let's this.No, Em,Okay, finally.<｜beginofsentence｜>import re and I can<｜beginofsentence｜>È.Let's finish? Next.Content No matter)2Stay.2No. Childish.No No commentsrandom DoBaBye-. ... Whatever. Alright.</body>No And 2. about: So)</think> No text I'm tired This is fine)))ExodusNo comments, hiddenNo. Nonsense Mehski. N-Hay que noIbye. Goodbye Last sentence after(ok copy Nothing useful. OK OK. . . . . .Come on Nancy . . . . . . Let's just end this please.No matter what. about […]
- zoobab
Провёл нагрузочное тестирование vllm, и мне удалось его уронить :-)
- Der_Einzige
Всё ещё сильно отстают по поддержке сэмплеров для LLM по сравнению с llama-cpp. Где поддержка top-n-sigma? DRY? XTC? Да ладно, ребята!