125BモデルをゲーミングPCで動かすStrata、RTX 3090なら毎秒100トークン超
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s
Qwen3.8-Flash-Next（125B）を一般のゲーミングPCで動かすオープンソースの推論エンジンStrata。12GB以上のVRAMと32GB以上のRAMがあれば、Windows/Linuxにワンクリックで導入でき、localhost上にOpenAI/Anthropic互換APIを立てて画像入力にも対応する。24,576個のエキスパートをGPU・RAM・CPU・SSDで分担させ、投機的デコードで1.6〜1.8倍の高速化を実現。RTX 5070で毎秒94トークン、RTX 3090なら100〜140トークンを見込む。
モデルは24,576人の小さな専門家（エキスパート）のチームだ。各単語に必要なのはそのうち10人だけ。