Strata запускает 125-миллиардную модель Qwen3.8-Flash-Next на игровом ПК

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata запускает 125-миллиардную модель Qwen3.8-Flash-Next на игровом ПК

Strata — это открытый движок вывода, который позволяет запустить Qwen3.8-Flash-Next (125B) на потребительской видеокарте с 12 ГБ VRAM и 32 ГБ RAM. Установка в один клик для Windows и Linux, поддержка API OpenAI и Anthropic на localhost, опциональный ввод изображений. На RTX 5070 модель выдаёт до 94 токенов/с, а на RTX 3090 ожидается 100–140 токенов/с. Все данные остаются на вашем ПК.

Strata запускает Qwen3.8-Flash-Next на обычном ПК. Это большая и умная AI-модель, которая обычно требует сервера.
  1. a11r

    Я немного скептически отношусь к переходу ниже 4-битных квантов из-за потенциального значительного ухудшения качества. Я запускаю 4-битные кванты на RTX Pro 6000, арендованном примерно за $1/час, и получаю около 1,2 миллиона токенов на выходе и 40 миллионов токенов на входе в час с кэшированием. Качество 4-битного кванта достаточно хорошее для сложных, но чётко очерченных задач по программированию. Вот стек инференса, который я использую: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK

  2. XCSme

    Как бы там ни было, на high 27b лучше, но обе модели на high слишком медленные, чтобы их использовать (слишком много выходных токенов).

    На low 3.8 Flash Next лучше И значительно быстрее.

    Мои результаты[0][1], на RTX 3090 + 128GB DDR4 RAM. Мне ещё предстоит выяснить, смогу ли я ещё оптимизировать какие-либо настройки для любой из них, но думаю, что перейду с 3.8 27b на 3.8 Flash Next для своих локальных задач с LLM.

    [0]: https://aibenchy.com/?q=qwen+3.8+27b%2C+qwen+3.8+next

    [1]: https://aibenchy.com/compare/qwen-qwen3-8-27b-low/qwen-qwen3...

  3. Jackson__

    Я только что протестировал Strata на простом бенчмарке по зрению на 50 изображений. Задача — выдать точные координаты запрошенного объекта. Результат через Strata дал медианную ошибку расстояния 154,8 пикселя, среднюю — 168,8. Запуск точно тех же весов GGUF и vision-адаптера на llama.cpp даёт мне медианную ошибку 46,5, среднюю 81,4.

    Чтобы это осмыслить, вот ещё несколько цифр от других моделей через llama.cpp:

    Медиана/Среднее

    Qwen 3.5 9B BF16: 46,5 / 193,3

    Qwen 3.6 35B Q4 K XL: 38,4 / 76,4

    Qwen 3.5 122B Q3 K M: 32,9 / 68,6

    Разница в производительности зрения такая же большая, как прыжок с модели 9B на модель 35B. Все тесты проводились при temp=0.

    Я не проводил дальнейшего тестирования, так как эти результаты идеально совпадают с моими ожиданиями.

  4. cjdell

    Это меняет правила игры. Моя R9700 32GB теперь умнее и примерно в 2 раза быстрее, чем при использовании Qwen-3.8-27B. Около 60 t/s в сочетании с моими 96GB DDR4. Моя материнская плата ограничивает меня PCIe Gen3, так что, вероятно, это узкое место.

    Для склонных к Nix:

    https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...

    Даже запустил её на iGPU GMKTec M6 Ryzen 6600H на разумной скорости (10 t/s). Достаточно быстро, чтобы оставить её с промптом перед сном и проснуться с решением.

  5. snehesht

    Я попробовал, и это сработало на удивление хорошо. На моей машине (Nvidia 4090, 128GB DDR5, Ryzen 7950x3d) я получаю 124 токена в секунду, решил поделиться здесь.

    https://huggingface.co/Qwen/Qwen3.8-Flash-Next

  6. AntiRush

    Я работал над поддержкой этой модели в ds4 на RTX 6000 pro — она оказалась действительно отличной для моих задач. Квант ds4 q4 работает намного лучше, чем другие аналогичных размеров, которые я видел.

    Используя квант Q4 на RTX 6000 Pro Workstation Edition при 450 ваттах:

    Код: prefill 1,251 tok/s decode 255.26 tok/s

    Проза: prefill 1,251 tok/s decode 198.78 tok/s

    Самое важное для меня — я могу запускать 4 параллельных потока на 400+ tok/s.

    https://github.com/fairfieldt/ds4

  7. kamranjon

    Dwarfstar уже поддерживает это, интересно, как оно сравнится, но я ежедневно использую квант q4, и он работает действительно хорошо.

    https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...

  8. slashtom

    Qwen 3.8 Flash Next с mtplx на 128GB M5 Max потрясающий, на полном контексте я получаю около 72 tok/s, он заменил для меня frontier-модели.

  9. jacquesm

    Треды про LLM по всему миру заспамлены ссылками на Strata, ещё предстоит увидеть, сколько от этого захлёбывающегося хайпа останется, когда медовый месяц закончится. Я попробовал, но пока не увидел ничего, что чрезмерно впечатлило бы меня с точки зрения точности, хотя скорость определённо есть. Уверен, есть применения LLM, где качество ответов менее важно, но у меня таких нет. YMMV.

  10. lxe

    Почему такого рода экспертный кэш до сих пор не в нативном llama.cpp? Почему нам нужна отдельная кодовая база?

Ещё за этот день

2026-10-04