125BモデルをゲーミングPCで動かすStrata、RTX 3090なら毎秒100トークン超
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Qwen3.8-Flash-Next(125B)を一般のゲーミングPCで動かすオープンソースの推論エンジンStrata。12GB以上のVRAMと32GB以上のRAMがあれば、Windows/Linuxにワンクリックで導入でき、localhost上にOpenAI/Anthropic互換APIを立てて画像入力にも対応する。24,576個のエキスパートをGPU・RAM・CPU・SSDで分担させ、投機的デコードで1.6〜1.8倍の高速化を実現。RTX 5070で毎秒94トークン、RTX 3090なら100〜140トークンを見込む。
モデルは24,576人の小さな専門家(エキスパート)のチームだ。各単語に必要なのはそのうち10人だけ。
HNでの議論
411- a11r
4ビット未満の量子化にすると品質が大きく劣化する可能性があるので、少し懐疑的です。私は約1時間1ドルで借りたRTX Pro 6000上で4ビット量子化を動かしていて、キャッシュを使えば毎時約120万トークン出力、4000万トークン入力という性能が出ています。4ビット量子化の品質は、難しいが範囲の明確なコーディングタスクには十分です。私が使っている推論スタックはこちらです: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK
- cjdell
これはゲームチェンジャーです。私のR9700 32GBは、Qwen-3.8-27Bを使うよりも賢くなり、約2倍速くなりました。96GBのDDR4と組み合わせると約60 t/sです。私のマザーボードはPCIe Gen3までしか対応していないので、それがボトルネックになっている可能性が高いです。
Nix好きの方へ:
https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...
GMKTec M6 Ryzen 6600HのiGPUでも実用的な速度(10 t/s)で動かせました。寝る前にプロンプトを投げておけば、起きたら解答が得られる程度には十分速いです。
- Jackson__
簡単な50枚の画像を使った視覚ベンチマークでStrataをテストしてみました。タスクは、指定されたオブジェクトの正確な座標を出力することです。Strata経由の結果は誤差距離の中央値が154.8ピクセル、平均168.8でした。まったく同じGGUFと視覚アダプターの重みをllama.cppで動かすと、誤差の中央値46.5、平均81.4でした。
これを踏まえて、llama.cpp経由の他のモデルの数値もいくつか挙げます:
中央値/平均
Qwen 3.5 9B BF16: 46.5 / 193.3
Qwen 3.6 35B Q4 K XL: 38.4 / 76.4
Qwen 3.5 122B Q3 K M: 32.9 / 68.6
視覚性能の差は、9Bモデルから35Bモデルへのジャンプと同じくらい大きいです。すべてのテストはtemp=0で実施しました。
この結果は私の予想と完全に一致したので、これ以上のテストは行っていません。
- snehesht
試してみたら驚くほどよく動きました。私のマシン(Nvidia 4090、128GB DDR5、Ryzen 7950x3d)では毎秒124トークン出ています。共有しようと思いました。
- slashtom
128GB M5 Max上のmtplxを使ったQwen 3.8 Flash Nextは素晴らしいです。フルコンテキストで約72tok/s出ており、私にとってはフロンティアモデルに取って代わる存在になりました。
- AntiRush
RTX 6000 pro上のds4でこのモデルのサポートに取り組んできましたが、私のユースケースでは本当に素晴らしいです。ds4のq4量子化は、私が見てきた他の同程度のサイズよりもずっと性能が良いです。
RTX 6000 Pro Workstation EditionでQ4量子化を450ワットで使用:
コード: prefill 1,251 tok/s decode 255.26 tok/s
散文: prefill 1,251 tok/s decode 198.78 tok/s
私にとって最も重要なのは、400+ tok/sで4つの同時ストリームを実行できることです。
- kamranjon
Dwarfstarはすでにこれをサポートしています。比較が気になりますが、私は毎日q4量子化を使っていて、非常によく動きます。
https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...
- jacquesm
世界中のLLMスレッドがStrataのリンクでスパム状態になっています。新婚期間が終わった後に、あの息切れするような誇大広告がどれだけ残っているかは見てみないとわかりません。私も試しましたが、今のところ精度の面で過度に感銘を受けるものは見ていません。ただし速度は間違いなくあります。回答の品質がそれほど重要でないLLMの用途もあるのでしょうが、私にはそういう用途がありません。YMMV。
- lxe
なぜこの種のエキスパートキャッシュがネイティブのllama.cppにまだ入っていないのでしょうか?なぜ別のコードベースが必要なのでしょうか?
- SuperV1234
Opusのようなモデルをローカルで動かせる日がどんどん近づいています。夢です!