DeepSeek-V4.1-Flash-1017 schlägt GPT-5.6 Sol bei Agenten-Benchmarks
Das Update von DeepSeek-V4.1-Flash verbessert Reasoning, Coding, agentische Aufgaben und visuelle Benchmarks deutlich und senkt zugleich Ausführungszeit und Ausgabelänge. Bei Terminal-Bench 4.0 springt der Wert von 31,2 auf 42,3, bei ProgramBench von 20,3 auf 29,1, und Agents' Last Exam steigt auf 35,4 – teils vor GPT-5.6 Sol. Das Modell unter MIT-Lizenz bietet ein Kontextfenster von 1M Tokens und verschiebt die Kosten-Leistungs-Grenze.
Das Modell reduziert die Ausführungszeit von Aufgaben und die Ausgabelänge, sodass Nutzer Aufgaben schneller und kostengünstiger erledigen können.
- OsrsNeedsf2P
DS ist in den Benchmarks nicht besser als Sol und Gemini, aber nachdem ich jetzt eine Weile mit allen gearbeitet habe, beginne ich zu verstehen, warum die Leute finden, dass sich DS _so viel_ besser anfühlt.
Erstens sind da die tok/s und TTFT der Anbieter. Deepseek pflügt durch die Arbeit – bei ziemlich guter Qualität – und man wartet nicht ständig darauf, dass die Agenten fertig werden.
Zweitens die Offenheit. Man kann die CoT sehen und wird nicht zufällig wegen Cyber-Review blockiert. Man fragt sich nie, ob es hängt oder ob es zufällig fehlschlägt. Zusammen mit dem großartigen Preis-Leistungs-Verhältnis... Mein nächstes Abo wird wahrscheinlich Z.ai sein.
- gregwebs
Die eigene News-Seite des Unternehmens: https://api-docs.deepseek.com/news/news261017
Sie zeigen, dass diese neue Version bei mehreren Coding-Benchmarks deutlich besser abschneidet und Sol 5.6 (6.1 ist die neueste) in 10 von 11 Benchmarks schlägt.
Ich gehe zum Programmieren wieder zu DeepSeek zurück. Ich habe Sol ausprobiert und das Ergebnis hat mir gefallen, aber das hier sollte einen Großteil dieser Lücke schließen. Ich nutze Opus/Sol für einen Implementierungsplan und Code-Review, außerdem nutze ich sie zum Grillen. DeepSeek führt auch Verifikationen durch.
- a11r
Ein negativer Datenpunkt – Wir haben frühere Deepseek-Flash-Modelle evaluiert (sowohl das ursprüngliche 4.1 Flash als auch das kleinere 4.0 Flash) und sie waren Overthinker. Unsere Workload besteht aus klar definierten, aber mäßig schwierigen Coding-Aufgaben, und unter den Open-Weight-Modellen schneidet GLM5.3 Flash am besten ab, dicht gefolgt von Qwen3.8 Flash. DeepSeek 4.1 Flash scheitert bei niedrigeren Thinking-Leveln und verbraucht auf den höchsten Thinking-Leveln, wo es die Aufgaben erfolgreich abschließen kann, eine riesige Menge an Tokens (eine Größenordnung mehr). Ich werde dieses neueste Release evaluieren, da sie ausdrücklich behaupten, dass „das Modell die Aufgabenausführungszeit und die Ausgabelänge reduziert“, aber ich halte meine Erwartungen niedrig.
- jmward01
Dieses Modell ist der Grund, warum OpenAI und Anthropic regulatorische Hürden wollen. Wir brauchen mehr Vielfalt wie diese, nicht weniger. Ein vielfältiges Ökosystem ist die einzige langfristige Lösung für komplexe Probleme, die ich kenne, und die Herausforderungen, die die AI-Welt mit sich bringt, sind da keine Ausnahme.
- AmazingTurtle
Also habe ich einen Äpfel-mit-Bananen-Vergleich gemacht.
Ich habe 4 verschiedene Agenten dieselbe unsaubere Codebasis überprüfen lassen (200+ geänderte Dateien, C++, Game Engine):
- deepseek v4.1 flash über die deepseek API: brauchte 20 Minuten, um ein relevantes P1-Problem und ein irrelevantes P2-Problem zu finden
- glm 5.3 flash NVFP4 über TP2 DGX Sparks: brauchte 1h 5m, um ein P3-Dokumentationsproblem zu finden
- gpt 5.6 sol: brauchte 5m30s für ein P1- und ein P2-Problem. Beide relevant
- gpt 6.1 sol: brauchte 4m30s für zwei P1- und ein P2-Problem. Beide relevant.
Erwähnenswert: Keine dieser Funde überschnitten sich.
Ich habe deepseek v4.1 flash und gpt 6.1 sol beide Fixes für die Zusammenfassung der Funde planen lassen. In diesem speziellen Szenario: gpt 6.1 sol plante, eine Puffergröße von 128 auf 256 zu erhöhen, um die 191 Elemente aufzunehmen, die ein Testszenario gesprengt hatten. Es beinhaltete etwas Headroom. deepseek v4.1 flash hingegen entschied sich, sie genau auf 191 zu setzen, um den Test zu erfüllen, zum Beispiel.
Die TPS-Dekodierung bei deepseek ist beeindruckend. Ich hatte nie das Gefühl, allein gelassen zu werden, und dachte „verdammt, das Ding arbeitet“. Trotz all meiner Bemühungen brauchte es bei einer Überprüfung etwa 4x länger, fand weniger und plante schlechter als GPT 6.1 Sol. Wanduhrzeit. Ich habe keine Token-Zahlen zum Vergleichen. Wenn ich diese Modelle von 1-10 bewerten müsste (10 = Top-Tier GG), würde ich deepseek eine solide 6,5 geben und 6.1 sol vielleicht eine 7,5-8,0.
- simonw
Hier sind einige Pelikane. Der „max“-Pelikan brauchte über 11 Minuten: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Definitiv eine Verbesserung gegenüber deepseek-v4-flash-0731: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- apejcic
Es ist ein großartiges Update, ich habe einen Benchmark durchgeführt, der Ausführlichkeit und Intelligenz im Vergleich zu den alten Gewichten vergleicht.
- Reasoning Effort = 1 ist jetzt tatsächlich nutzbar und erzeugt 2,5x weniger Tokens als die alten Gewichte, ohne Intelligenzverlust.
- Insgesamt 20 % weniger Tokens bei jedem Reasoning Effort.
- Gleiche Intelligenz und gleiches Tool-Calling-Muster.
Weitere Details im Blogpost https://sference.com/blog/deepseek-v41f-1017-benchmark
- pmxi
Lustiger Satz: „DeepSeek-V4.1-Flash-1017 ist ein kleines Update für DeepSeek-V4.1-Flash und liefert substanzielle Verbesserungen bei Reasoning, Coding, agentischen Aufgaben und visuellen Benchmarks.“ (Hervorhebung von mir)
- liuliu
Ich brauche noch 2 oder 3 Tage, um das ordentlich zu quantifizieren. Aber es ist ein wirklich gutes Modell zum Ausführen, wenn man 64 GiB oder mehr RAM auf dem Mac hat. Auf einem M5 Ultra bekommt man ~3400 tok/s für die Prompt-Verarbeitung und ~50 tok/s für die Token-Generierung, ein ziemlich brauchbarer Zustand.
- ilitirit
Ich benutze DS v4.1 Flash jetzt seit fast einem Monat täglich für Agent Swarm-Experimente. Ich habe es gegen GLM-5.3-flash und Opus 5.5 getestet. DS 4.1 schneidet für mich am besten ab. Opus 5.5 ist immer noch das intelligenteste, aber die Geschwindigkeit und der Preis von DS 4.1 machen die „Intelligenz“-Lücke mehr als wett. Ich habe Chief/Builder/Reviewer-Swarms über mehrere Tage autonom laufen lassen. Ich denke, mein neuer Workflow wird sein, dass DS 4.1 Flash die gesamte Engineering-Arbeit macht und Opus nur die Arbeit überprüft. 4.1 Flash ist wirklich ein sehr beeindruckendes Modell. Kudos an das Deepseek-Team.