消费级显卡运行 Qwen3.8-Flash-Next

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

消费级显卡运行 Qwen3.8-Flash-Next

Strata 让你能在普通游戏电脑上运行拥有 1250 亿参数的 Qwen3.8-Flash-Next 模型。无论是 NVIDIA 还是 AMD 显卡,只要显存达到 12GB,配合 32GB 以上内存,即可一键安装。数据完全本地运行,支持聊天、写代码和图像输入。在 RTX 5070 上,生成速度可达每秒 94 个 token,远超人类阅读速度。通过智能分块和猜测验证机制,Strata 巧妙地将庞大模型拆解到显卡、内存和 SSD 中协同工作,让本地 AI 推理变得触手可及。

你的显卡保留了最常用的几千个专家,内存容纳了所有专家,而处理器则同时处理其余部分。
  1. a11r

    我对低于 4-bit 量化的做法有点怀疑,因为这可能导致质量显著下降。我在租用的 RTX Pro 6000(约 1 美元/小时)上运行 4-bit 量化版本,配合缓存,每小时能输出约 120 万 token,输入约 4000 万 token。4-bit 量化的质量对于困难但范围明确的编程任务来说已经足够好了。以下是我使用的推理栈:https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK

  2. 4ggr0

    我尝试搭建本地 LLM 环境已经快一周了,但始终不如直接使用 Claude 满意。

    难道 2026 年了,一张 RTX3080 加 16GB 内存还不够用?

  3. Jackson__

    我刚用 Strata 在一个简单的 50 张图像视觉基准测试上做了测试。任务是输出指定对象的精确坐标。通过 Strata 得到的结果,中位误差距离为 154.8 像素,平均值为 168.8。在 llama.cpp 上运行完全相同的 GGUF 和视觉适配器权重,中位误差为 46.5,平均值为 81.4。

    为了让大家有个概念,以下是 llama.cpp 上其他模型的一些数据:

    中位数/平均值

    Qwen 3.5 9B BF16: 46.5 / 193.3

    Qwen 3.6 35B Q4 K XL: 38.4 / 76.4

    Qwen 3.5 122B Q3 K M: 32.9 / 68.6

    视觉性能上的差异之大,相当于从 9B 模型跳到 35B 模型。所有测试均在 temp=0 下进行。

    我没有做进一步测试,因为这些结果完全符合我的预期。

  4. snehesht

    我试了一下,效果出奇地好。在我的机器上(Nvidia 4090, 128GB DDR5, Ryzen 7950x3d),我能达到每秒 124 个 token,特此分享。

    https://huggingface.co/Qwen/Qwen3.8-Flash-Next

  5. cjdell

    这简直是颠覆性的。我的 R9700 32GB 显卡现在比使用 Qwen-3.8-27B 时更智能,速度也快了近 2 倍。配合我的 96GB DDR4 内存,速度约为 60 t/s。我的主板限制在 PCIe Gen3,这可能是瓶颈所在。

    对于喜欢 Nix 的用户:

    https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...

    甚至在 GMKTec M6 的 Ryzen 6600H 核显上也跑起来了,速度尚可(10 t/s)。速度快到足以让我睡前输入提示词,醒来时就能得到解决方案。

  6. AntiRush

    我一直在为 RTX 6000 Pro 上的 ds4 添加对该模型的支持——这对于我的使用场景来说效果极佳。ds4 的 q4 量化表现远优于我见过的其他类似规模的模型。

    在功耗 450 瓦的 RTX 6000 Pro Workstation Edition 上使用 Q4 量化:

    代码:prefill 1,251 tok/s, decode 255.26 tok/s

    散文:prefill 1,251 tok/s, decode 198.78 tok/s

    对我最重要的是,我可以同时运行 4 个并发流,速度超过 400 tok/s。

    https://github.com/fairfieldt/ds4

  7. Schlagbohrer

    我真的很想在 Pi 里拥有那个 To Do 列表界面。Pi 很棒,也是我的日常主力工具,但它只有这样一个用于子代理管理的漂亮弹出式 TUI。我在一个旋转了 90°的显示器上使用它,所以 TUI 界面有很多空间,如果能有一个实时的 To Do 列表供我随时瞥一眼就太棒了。

    编辑:我指的是该仓库截图中 TUI 里显示的 To Do 列表:https://raw.githubusercontent.com/Niko1221/Strata/refs/heads...

  8. kamranjon

    Dwarfstar 已经支持这个模型了,很好奇对比效果如何,但我每天使用 q4 量化版本,效果非常好。

    https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...

  9. jacquesm

    世界各地的 LLM 讨论区都被 Strata 的链接刷屏了,现在还得看看蜜月期过后,那些令人窒息的 hype 还能剩下多少。我试过了,但到目前为止,在准确性方面并没有看到什么特别让我惊艳的地方,不过速度确实是实打实的。我确信有些 LLM 的应用场景对回答质量要求不高,但我手头没有这类需求。YMMV。

  10. mmaunder

    本地模型方面又有不错的工作,但你还是损失了很多。降到 2-bit 量化,coder 模型就丢弃了一半的 MoE 专家。在一个“有总比没有强”的世界里,这算是一个净收益。但我们还有很长的路要走。

同日更多故事

2026-10-04