Qwen3.8-Flash-Next:学習コスト1/9で高性能を実現する新アーキテクチャ

Qwen3.8-Flash-Next: A New Architecture, Towards Ultimate Cost-Efficiency

Qwen3.8-Flash-Next:学習コスト1/9で高性能を実現する新アーキテクチャ

Qwen(阿里雲)が、Qwen4のアーキテクチャを先取りしたマルチモーダルMoEモデル「Qwen3.8-Flash-Next」の重みを公開。注意機構(GDN+QSA)、残差接続(Gated Residual)、埋め込み(N-gram Embedding)、最適化(Muon)の4点を刷新し、学習コストをQwen3.7-Plusの約1/9に削減しながら、コーディングやオフィス業務で高性能を達成。125Bパラメータ(活性化は6B)に加え、51BのN-gram埋め込みをホストメモリにオフロード可能。ネイティブで262,144トークン、YaRNで100万トークンまで対応する。API版は100万入力トークンあたり0.16ドルで提供予定。

GDNは効率的に「記憶」し、QSAは正確に「検索」する。

この日のほかの記事

2026-08-26