DeepSeek-V4.1-Flash-1017、Terminal-Bench 4.0で42.3を記録しGPT-5.6 Solを上回る
DeepSeek-V4.1-Flashの小規模アップデート版。推論・コーディング・エージェントタスク・視覚ベンチマークで大幅に改善しつつ、実行時間と出力長を削減して低コスト化を実現した。Terminal-Bench 4.0は31.2から42.3へ、ProgramBenchは20.3から29.1へと伸び、複数のエージェントハーネスで性能とコストのパレートフロンティアを前進させている。コンテキスト長1Mトークン、MITライセンスで公開。
本リリースにはJinja形式のチャットテンプレートが含まれていません。
HNでの議論
548- OsrsNeedsf2P
DSはベンチマークでSolやGeminiより優れているわけではないけど、しばらく全部を触ってみて、なぜ人々がDSをこんなに_良く感じる_のかが分かり始めた。
第一に、プロバイダーからのtok/sとTTFTだ。Deepseekはかなり良い品質で仕事を猛スピードで片付けてくれて、エージェントが終わるのを待たされることがない。
第二にオープンさだ。CoTを見られて、サイバーレビューでランダムにブロックされることもない。詰まってるのか、ランダムに失敗するのかと疑うこともない。優れたコストパフォーマンスと相まって…次のサブスクはおそらくZ.aiになるだろう。
- a11r
ネガティブなデータポイント - 我々は以前のDeepseek Flashモデル（オリジナルの4.1 flashと小さい4.0 flashの両方）を評価したが、どちらも考えすぎる傾向があった。我々のワークロードは明確に定義されているが中程度に難しいコーディングタスクで、オープンウェイトモデルの中ではGLM5.3 flashが最高の性能で、Qwen3.8 flashが僅差の2番目だ。DeepSeek 4.1 flashは低い思考レベルでは失敗し、タスクを正常に完了できる最高思考レベルでは膨大な量のトークン（桁違いに多い）を消費する。今回の最新リリースは「モデルがタスク実行時間と出力長を削減する」と特に主張しているので評価するつもりだが、期待は低く抑えている。
- gregwebs
会社自身のニュースページ：https://api-docs.deepseek.com/news/news261017
この新バージョンが複数のコーディングベンチマークで大幅に高いスコアを出し、11個中10個のベンチマークでSol 5.6（最新は6.1）を上回っていることを示している。
私はコードを書くのにDeepSeekに戻るつもりだ。Solを使ってみて結果が気に入っていたが、これでその差のかなりの部分が埋まるはずだ。実装計画とコードレビューにはOpus/Solを使い、厳しい突っ込みにも使っている。DeepSeekは検証も実行している。
- jmward01
このモデルこそがOpenAIとAnthropicが規制の障壁を求めている理由だ。我々にはこのような多様性がもっと必要で、減らすべきではない。多様なエコシステムこそが複雑な問題に対する唯一の長期的解決策だと私は知っているし、AIの世界が提示している課題も同じだ。
- AmazingTurtle
というわけで、りんごとバナナを比べてみた。
4つの異なるエージェントに同じ汚いコードベース（200以上のファイル変更、C++、ゲームエンジン）をレビューさせた：
- deepseek v4.1 flash（deepseek API経由）：関連するp1問題1件と無関係なp2問題1件を見つけるのに20分
- glm 5.3 flash NVFP4（TP2 DGX Sparks経由）：p3のドキュメント問題を見つけるのに1時間5分
- gpt 5.6 sol：p1とp2の問題を1件ずつ見つけるのに5分30秒。どちらも関連あり
- gpt 6.1 sol：p1を2件、p2を1件見つけるのに4分30秒。どちらも関連あり。
特筆すべきは、これらの発見がどれも重複していないことだ。
deepseek v4.1 flashとgpt 6.1 solの両方に、発見の要約に対する修正計画を立てさせた。この特定のシナリオでは：gpt 6.1 solはテストシナリオを超えた191個の要素に合わせてバッファサイズを128から256に増やす計画を立てた。余裕も含めていた。一方deepseek v4.1 flashは、例えばテストを満たすためにちょうど191にしようと決めた。
deepseekのTPSデコードは印象的だ。取り残されていると感じたり、「すごい、これ動いてる」と思ったりしたことは一度もない。しかし、あらゆる努力にもかかわらず、レビューには約4倍の時間がかかり、見つける問題は少なく、計画もGPT 6.1 Solより劣っていた。実時間での話だ。比較用のトークン数は持っていない。これらのモデルを1〜10で採点するなら（10＝最高峰GG）、deepseekには堅実な6.5、6.1 solには7.5〜8.0くらいをつけるだろう。
- simonw
ペリカンの絵をいくつか。"max"のものは11分以上かかった：https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
deepseek-v4-flash-0731からの確実な改善だ：https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- apejcic
素晴らしいアップデートだ。古いウェイトと比較して冗長性と知能のベンチマークを走らせた。
- Reasoning effort = 1が実際に使えるようになり、古いウェイトより2.5倍少ないトークンで知能を失わない。
- 全体として各reasoning effortで20%トークンが少ない。
- 知能もツール呼び出しのパターンも同じ。
詳細はブログ記事で https://sference.com/blog/deepseek-v41f-1017-benchmark
- pmxi
笑える一文：「DeepSeek-V4.1-Flash-1017はDeepSeek-V4.1-Flashへのマイナーアップデートであり、推論、コーディング、エージェントタスク、視覚ベンチマーク全体で大幅な改善をもたらす」（強調は私による）
- liuliu
適切に量子化するにはまだ2、3日必要だ。しかしMacで64GiB以上のRAMがあれば実行するのに本当に良いモデルだ。M5 Ultraではプロンプト処理が約3400 tok/s、トークン生成が約50 tok/sで、かなり使える状態だ。
- ilitirit
私はほぼ1ヶ月、Agent Swarmの実験でDS v4.1 Flashを毎日使っている。GLM-5.3-flashとOpus 5.5と比較テストした。私にはDS 4.1が最上位だ。Opus 5.5は依然として最も賢いが、DS 4.1の速度と価格が「知能」の差を十分に補っている。Chief/Builder/Reviewerのスワームを何日も自律的に走らせた。新しいワークフローではDS 4.1 Flashにエンジニアリングを全部やらせて、Opusにその仕事をレビューさせるだけになりそうだ。4.1 Flashは本当に非常に印象的なモデルだ。Deepseekチームに敬意を。