Qwen3.8-Flash-Next: обучение в 9 раз дешевле при превосходстве в кодинге
Qwen3.8-Flash-Next: A New Architecture, Towards Ultimate Cost-Efficiency
Qwen открывает веса Qwen3.8-Flash-Next — мультимодальной MoE-модели, которая предвосхищает архитектуру Qwen4. В основе — гибрид Gated DeltaNet и Qwen Sparse Attention, а также новые механизмы: Gated Residual, N-gram Embedding и оптимизатор Muon. Модель с 125B параметров (6B активных) обучается примерно в 9 раз дешевле, чем Qwen3.7-Plus, но превосходит её в кодинге и офисных задачах. Поддерживает контекст до 262K токенов (расширяется до 1M), а в продакшене доступна как Qwen3.8-Flash по цене $0.16 за миллион входных токенов.
QSA сжимает последовательность в микро-блоки и оценивает важность контекста на уровне блоков, что снижает не только стоимость самого Attention, но и накладные расходы на индексацию.
- lnenad
Добавляю в свой домашний стек, надеюсь, она не будет так же перемудривать, как маленькая модель. Вообще-то, надеюсь, что она будет думать чуть меньше. Хотя нет, на самом деле я очень надеюсь, что она будет рассуждать более прямо. Но постойте, я уверен, что она должна быть хоть немного лучше.
- hedgehog
При начальном тестировании на Ryzen 395 / Strix Halo она выдаёт около 22 токенов/с, и качество вывода впечатляет. Лучше и быстрее, чем 3.8 27B, и достаточно лучше, чтобы оправдать переход с 3.6 35B, хотя 35B всё ещё быстрее. Веса Unsloth не поддерживают зрение, но вы можете добавить его обратно самостоятельно. Рецепт llama.cpp на случай, если кто-то ещё хочет сэкономить время на настройке: https://pastebin.com/fcqsbDTv
- rohansood15
Не ожидал, что она так чисто побьёт 3.8 27B.
Opus 4.6 Max, размещённая локально, выдаёт 30 ток/с на Macbook за 5 тысяч в августе 2026. Таймлайны LLM безумны.
- respectattentio
Я больше не могу представить будущее.
Американские компании играют осторожно и контролируют выпуск моделей.
Китайские компании просто открывают исходный код всего.
Похоже, китайцы мотивированы открывать исходники с первого дня (годы назад).
А большинство американских компаний решают в реальном времени.
Безумно, что нам нужны и те, и другие, чтобы выжить и продвигаться дальше в будущем, которое мы никогда не представляли.
- andy99
> Qwen3.8-Flash-Next имеет основную модель на 125B параметров, дополненную дополнительными 51B N-gram эмбеддингами, с 6B параметров, активируемых на токен.
Не видел, чтобы это упоминалось. Интересно, что это значит для эффективного размера. По-видимому, это ~176B параметров, но как это квантуется? 4-битное квантование меньше 100GB кажется маловероятным, подозреваю, что это не запустится в 128GB единой памяти.
В принципе, мне нравится идея обмена большего объёма памяти на вычисления, даже если сейчас нехватка памяти.
- simonw
Я запустил несколько пеликанов на четырёх разных уровнях рассуждений (none, low, medium, xhigh — видимо, high и xhigh — это алиасы друг друга) на DGX Spark, используя unsloth/Qwen3.8-Flash-Next-GGUF (UD-IQ1_S) от Unsloth:
https://tools.simonwillison.net/markdown-svg-renderer#url=ht...
Удивлён, что не получил такого, который понравился бы мне так же, как Qwen 3.8 27B https://simonwillison.net/2026/Aug/16/qwen-38-27b/#the-defau... , возможно, из-за квантования.
- a_humean
Жду поддержки llama.cpp, но это может быть большим событием для пользователей Strix Halo.
6B активных параметров помогает обойти ограничения пропускной способности памяти, но коробка на 128GB, вероятно, сможет легко запустить кванты Q3/Q4 с приличным размером контекста. Это может быть даже лучше для пользователей Strix, чем 27B, которая и так была очень хороша.
- tosh
Это новая архитектура (предвестник Qwen 4)
> обучена всего за 1/9 стоимости Qwen3.7-Plus, превосходя её по всем показателям