Strata запускает 125-миллиардную модель Qwen3.8-Flash-Next на игровом ПК
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata — это открытый движок вывода, который позволяет запустить Qwen3.8-Flash-Next (125B) на потребительской видеокарте с 12 ГБ VRAM и 32 ГБ RAM. Установка в один клик для Windows и Linux, поддержка API OpenAI и Anthropic на localhost, опциональный ввод изображений. На RTX 5070 модель выдаёт до 94 токенов/с, а на RTX 3090 ожидается 100–140 токенов/с. Все данные остаются на вашем ПК.
Strata запускает Qwen3.8-Flash-Next на обычном ПК. Это большая и умная AI-модель, которая обычно требует сервера.
- a11r
Я немного скептически отношусь к переходу ниже 4-битных квантов из-за потенциального значительного ухудшения качества. Я запускаю 4-битные кванты на RTX Pro 6000, арендованном примерно за $1/час, и получаю около 1,2 миллиона токенов на выходе и 40 миллионов токенов на входе в час с кэшированием. Качество 4-битного кванта достаточно хорошее для сложных, но чётко очерченных задач по программированию. Вот стек инференса, который я использую: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK
- XCSme
Как бы там ни было, на high 27b лучше, но обе модели на high слишком медленные, чтобы их использовать (слишком много выходных токенов).
На low 3.8 Flash Next лучше И значительно быстрее.
Мои результаты[0][1], на RTX 3090 + 128GB DDR4 RAM. Мне ещё предстоит выяснить, смогу ли я ещё оптимизировать какие-либо настройки для любой из них, но думаю, что перейду с 3.8 27b на 3.8 Flash Next для своих локальных задач с LLM.
[0]: https://aibenchy.com/?q=qwen+3.8+27b%2C+qwen+3.8+next
[1]: https://aibenchy.com/compare/qwen-qwen3-8-27b-low/qwen-qwen3...
- Jackson__
Я только что протестировал Strata на простом бенчмарке по зрению на 50 изображений. Задача — выдать точные координаты запрошенного объекта. Результат через Strata дал медианную ошибку расстояния 154,8 пикселя, среднюю — 168,8. Запуск точно тех же весов GGUF и vision-адаптера на llama.cpp даёт мне медианную ошибку 46,5, среднюю 81,4.
Чтобы это осмыслить, вот ещё несколько цифр от других моделей через llama.cpp:
Медиана/Среднее
Qwen 3.5 9B BF16: 46,5 / 193,3
Qwen 3.6 35B Q4 K XL: 38,4 / 76,4
Qwen 3.5 122B Q3 K M: 32,9 / 68,6
Разница в производительности зрения такая же большая, как прыжок с модели 9B на модель 35B. Все тесты проводились при temp=0.
Я не проводил дальнейшего тестирования, так как эти результаты идеально совпадают с моими ожиданиями.
- cjdell
Это меняет правила игры. Моя R9700 32GB теперь умнее и примерно в 2 раза быстрее, чем при использовании Qwen-3.8-27B. Около 60 t/s в сочетании с моими 96GB DDR4. Моя материнская плата ограничивает меня PCIe Gen3, так что, вероятно, это узкое место.
Для склонных к Nix:
https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...
Даже запустил её на iGPU GMKTec M6 Ryzen 6600H на разумной скорости (10 t/s). Достаточно быстро, чтобы оставить её с промптом перед сном и проснуться с решением.
- snehesht
Я попробовал, и это сработало на удивление хорошо. На моей машине (Nvidia 4090, 128GB DDR5, Ryzen 7950x3d) я получаю 124 токена в секунду, решил поделиться здесь.
- AntiRush
Я работал над поддержкой этой модели в ds4 на RTX 6000 pro — она оказалась действительно отличной для моих задач. Квант ds4 q4 работает намного лучше, чем другие аналогичных размеров, которые я видел.
Используя квант Q4 на RTX 6000 Pro Workstation Edition при 450 ваттах:
Код: prefill 1,251 tok/s decode 255.26 tok/s
Проза: prefill 1,251 tok/s decode 198.78 tok/s
Самое важное для меня — я могу запускать 4 параллельных потока на 400+ tok/s.
- kamranjon
Dwarfstar уже поддерживает это, интересно, как оно сравнится, но я ежедневно использую квант q4, и он работает действительно хорошо.
https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...
- slashtom
Qwen 3.8 Flash Next с mtplx на 128GB M5 Max потрясающий, на полном контексте я получаю около 72 tok/s, он заменил для меня frontier-модели.
- jacquesm
Треды про LLM по всему миру заспамлены ссылками на Strata, ещё предстоит увидеть, сколько от этого захлёбывающегося хайпа останется, когда медовый месяц закончится. Я попробовал, но пока не увидел ничего, что чрезмерно впечатлило бы меня с точки зрения точности, хотя скорость определённо есть. Уверен, есть применения LLM, где качество ответов менее важно, но у меня таких нет. YMMV.
- lxe
Почему такого рода экспертный кэш до сих пор не в нативном llama.cpp? Почему нам нужна отдельная кодовая база?