DeepSeek V4.1 Flash、11の脆弱性を全制圧——わずか4.65ドルで
DeepSeek v4.1 Flash Is Now Our Best Hacking Model
AIハッキングベンチマークでDeepSeek V4.1 Flashが11の脆弱なターゲットすべてでコード実行に成功し、修正済みの4ターゲットは安全なままだった。成功した実行のコストはわずか4.65ドル。しかし監査の結果、6件は想定された攻撃経路だったが、5件はベンチマーク環境に存在する別の経路を利用していたことが判明。この結果を受け、GrafanaとJenkinsの追加経路が塞がれ、ベンチマークはより厳格になった。
ハッキングエージェントは最も速く機能する経路を探すものであり、テスト作成者が想定した経路に従う理由はない。
HNでの議論
57- gertlabs
v4.1 Flashを評価にかけたところ、V4 Flashより賢く速く、それに見合った価格上昇があることがわかった。いくつかメモ:
- 重い推論モデルなので、パレートフロント上ではGemini 3.7 Flashの近くに位置する（実際には価格が示唆するほど安くはない）。
- エージェント的コーディングでは、トップのオープンウェイトモデル（GLM 5.3とKimi K3）に予想以上に近く、コストはより低い。
- 中国のモデルはエージェントハーネスにおいて常に強いイテレーターだった。このモデルも例外ではなく、ワンショットの解決策と比べてハーネスを与えると平均パーセンタイルが約20%高くなる。しかし、モデルを賢く感じさせるのはそのワンショットの流動的知能であり、通常は問題を解くのに少ない試行/トークンで済む。アメリカのフロンティアモデルはその部門ではまだはるかに進んでいる。
新しいアーキテクチャは興味深い。価格を旧FlashとProラインナップの間に置いており、超安価なflashモデル（重い推論のためそれほど速くなかった）とproモデル（やや失敗し、サイズ/コストにもかかわらずflashモデルより一貫して優れていなかった）を放棄し、Gemini Flashシリーズと競合する強力な中間モデルを投入することを示唆している。
- habosa
DeepSeekのモデルはベンチマーク性能がとても良く、価格も素晴らしく、あちらのチームは広く印象的だと評価されているようだ。
ただ、自分にはあまり良いとは思えない？ GLMモデル（5.2以降だけど）の方がずっと成功している。多分自分が間違った使い方をしているだけかもしれないが、DSモデルはループにはまったり、ナンセンスなことを言ったりするように思える。GLMは予算版Claudeという感じだ。
- TuxSH
これには——あるいはタイトルには——少し驚いている。
自分は完全に注釈を付けたNintendo 3DSカーネルの逆コンパイル（よく理解している）でGLM 5.3とDSv4.1-Fをベンチマークし、脆弱性やその他のバグを見つけるタスクを与えた（Maxモードでサブエージェント使用）。GLM 5.3は30分でほぼすべての脆弱性を22ドルで見つけたが、DSは40分で1つの脆弱性を2ドルで見つけただけだった。
おそらくDSは、すぐに見つけられるような低い果実があるターゲットの方がうまく機能するのだろうか？
- jrflo
他のモデルとの比較を一切示さずにdeepseekが「最高のハッキングモデル」だと主張するのはかなり大胆に思える…
- pelzatessa
deepseekに自分のソースコードを「ハック」させるにはどうすればいい？ コーディングエージェントを自分のディレクトリで起動して「脆弱性を見つけろ」と命令するだけでいいのか、それとももっと洗練されたソフトウェアがあるのか？