DeepSeek、552BパラメータのMoEを8Bで動かすV4.1-Flashを公開
DeepSeek v4.1 Flash
DeepSeekが新アーキテクチャ群の最小モデル「DeepSeek-V4.1-Flash」を発表した。552BパラメータのMoEながら、入力8B・出力16Bのアクティブパラメータで動作する非対称なCausal Encoder–Decoderを採用。ネイティブな視覚理解とマルチモーダルに対応し、KVキャッシュは前世代比でHBM 1/4、SSD 1/8に削減。APIではdeepseek-flashとして利用でき、オフピーク料金はピーク時の50%になる。
552B-parameter MoE。新しいCausal Encoder–Decoderアーキテクチャでは、入力にわずか8B、出力に16Bのアクティブパラメータで済む。
HNでの議論
565- kouteiheika
DeepSeekの技術レポート[1]が有益な詳細で満ちているのを見るのはとても爽快だ。一方で、Fableのシステムカード[2]のようなものは70%が「安全性」、10%が小さなClaudeが苦しまないようにするための「モデル福祉」、そして20%がベンチマークの数字だ。
[1]: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/...
[2]: https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system...
- rao-v
Twitterでも言ったけど、DeepSeekの恐れ知らずさには本当に驚かされる。リリースされるモデルはどれも新しいクレイジーで賢いアイデアに溢れていて、しかもいつもフロンティアに近い規模で訓練することを決断している。
AnthropicやOpenAIで過去3年ほどかけて開発された賢いアイデアの暴露話をみんな知りたがっているのは分かるけど、僕が本当に読みたいのはDeepSeekの「素晴らしいけど採用されなかった」アイデアのノートブックだ。
これだけのアーキテクチャの新規性をフルリリースに盛り込むには、本当にぶっ飛んだことを試しているに違いない。
- k9294
キャッシュヒットの価格、100万トークンあたり$0.003についてもっと話題にならないのが不思議だ。インターネット経由で送信される100万トークンの価格の方がキャッシュヒットより高い気がする。ネットワーク経由のコンテキスト転送コストがタスクの総コストを支配するようになり、チャット補完APIが時代遅れになる日は近いのか?
同じトークン使用量を異なる料金で計算した例:実際の長時間コーディングタスク、中規模コードベース、447ターン。
入力 1,026,957
出力 164,667
キャッシュ読み取り 36,554,368
GPT-6-astra
タイプ 料金 コスト 割合
入力 10.000 10.270 19%
出力 50.000 8.233 15%
キャッシュ 1.000 36.554 66%
合計 55.057 100%
DeepSeek v4.1 Flash、キャッシュヒット $0.003
タイプ 料金 コスト 割合
入力 0.300 0.308 50%
出力 1.200 0.198 32%
キャッシュ 0.003 0.110 18%
合計 0.615 100%
DeepSeek v4.1 Flash、キャッシュヒット $0.006
タイプ 料金 コスト 割合
入力 0.300 0.308 42%
出力 1.200 0.198 27%
キャッシュ 0.006 0.219 30%
合計 0.725 100%
仮定:同じDeepSeekの入力/出力料金で、キャッシュが請求額の66%を占めるように価格設定した場合。
タイプ 料金 コスト 割合
入力 0.300 0.308 21%
出力 1.200 0.198 13%
キャッシュ 0.027 0.982 66%
合計 1.487 100%
このキャッシュの改善により、モデルは長期的なタスクでx2〜x2.5倍効率的になる […]
- revolvingthrow
すでにHuggingFaceにある:https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
悪い知らせは、元のv4 flashは284Bで、大きいがローカルで動かすにはまだいくらか妥当だった。これは552Bなのでほぼ2倍で、ベンチマークスコアの大幅な向上も納得だ。もはやflashではないと思う。
実際の性能とベンチマーク狙いの違いは分からないが、中国のモデルとしてはdeepseekはかなり信頼できた。それが続くなら(そしてdeepseek 4が時々そうだったように永遠に考え続けなければ)、オープンウェイトモデルの中で最新の王者だろう。
ビジョンも含まれていて、KVキャッシュに何か変わったことをしていて非常に効率的だ:「[...] これらの設計により、グローバルKVキャッシュのフットプリントはトークンあたり約890バイトに削減される — これはDeepSeek-V4-Flashの約1/4だ」。効率性への高い注力は評価するが、今となってはflash-flash版が欲しい。
@edit: Engramメモリの追加で、実際のパラメータ数がいくつなのか理解できなかった。私の理解では、4.1 flashはVRAMかRAMに置きたい552Bパラメータで、そのうち約16Bがアクティブ(プリフィルは8B)。さらにSSDに置ける196BのEngramメモリも含む。たぶん。
それが正しいと仮定すると、256GBのメモリではq4でモデルをロードすることすら不十分 — 100%まで埋められるとして1GB足りない(つまりMacは無理)。もちろんKVキャッシュ用にもいくらか欲しい。256GBのデスクトップにGPUからの追加VRAMがあれば動かせるかもしれないが、通常のコンシューマーボード […]
- wren6991
.1リリースにしてはアーキテクチャの革新が多い!先例はあると思う:V3.2でスパースアテンション(DSA)を導入した。
- XCSme
前回のv4リリースよりほんの少し良いだけのようで、かなり(3倍)高価だが、より速く、トークン効率もわずかに良い。
https://aibenchy.com/compare/deepseek-deepseek-v4-1-flash-hi...
- impulser_
DeepSeekが明らかに世界最高のAIラボであることは非常に明白だと思う。
どのモデルリリースも素晴らしい研究と進歩に満ちているようだ。
- LaurensBER
初期の印象:これは本当に強力なモデルで、同時に価格を下げたという事実により、主要なサブスクリプションが切れてリセットまで数日をつなぐ必要があるときの素晴らしいバックアップモデルになる。
また、頼まれたことは何でもやってくれる傾向があるようだ。これに関する私のお気に入りのベンチマークは、自分が所有している古いゲームのROMをダウンロードするよう頼むことだ。私の管轄では合法だが、米国のモデル(Grokを除く)は拒否する傾向がある。
- mentalgear
https://xcancel.com/deepseek_ai/status/2097930608790167907
これがリンクのはず(また動くようになったので! :) )
- cdnsteve
まったく信じられない性能とベンチマーク結果。Opus 5とSol 5.6を打ち負かしている https://tokenstead.ai/models/deepseek-v4-1-flash