DeepSeek V4.1-Flash: 552B-Parameter-MoE mit nur 8B aktiven Parametern für Input

Wie ich auch auf Twitter sagte – es erstaunt mich wirklich, wie furchtlos Deepseek ist. Jede einzelne Modellveröffentlichung ist vollgepackt mit neuen und verrückt cleveren Ideen, und irgendwie schaffen sie es immer, sie in nahezu Frontier-Größenordnung zu trainieren.

Ich weiß, jeder will die Enthüllungsgeschichte der cleveren Ideen, die in den letzten ~3 Jahren bei Anthropic und OpenAI entwickelt wurden, aber was ich wirklich durchblättern möchte, ist DeepSeeks Notizbuch der "brillanten, aber nicht ganz durchgekommenen" Ideen.

Sie müssen wirklich absolut verrückte Sachen ausprobieren, um so viel Architektur-Neuheit in ihren vollständigen Releases unterzubringen.

Schon auf HuggingFace: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

Die schlechte Nachricht ist, dass das ursprüngliche v4 flash 284B hatte, was groß, aber für lokales Ausführen noch einigermaßen vernünftig war. Dieses hier hat 552B, also fast doppelt so viel, weshalb die enormen Benchmark-Verbesserungen Sinn ergeben – es ist imo nicht mehr wirklich flash.

Ich habe keine Ahnung von der tatsächlichen Performance vs. Benchmaxxing, obwohl deepseek, was chinesische Modelle angeht, ziemlich vertrauenswürdig war. Wenn das so bleibt (und wenn es nicht ewig nachdenkt, wie deepseek 4 manchmal), ist es wahrscheinlich der neue König unter den Open-Weights-Modellen.

Es enthält Vision, und sie machen etwas Ausgefallenes mit dem KV-Cache, sodass es sehr effizient ist: "[...] diese Designs reduzieren den globalen KV-Cache-Footprint auf 890 Bytes pro Token – ungefähr 1/4 von DeepSeek-V4-Flash". Ich schätze den starken Fokus auf Effizienz sehr, aber an diesem Punkt könnten wir wirklich eine flash-flash-Version gebrauchen.

@edit: Ich konnte nicht herausfinden, wie hoch die tatsächliche Parameterzahl ist, mit der Hinzufügung des Engram-Speichers. Nach meinem Verständnis ist das 4.1 flash 552B Parameter, die man in VRAM oder RAM haben möchte, wovon ~16B aktiv sind (8B für Prefill). Es enthält außerdem zusätzliche 196B Engram-Speicher, den man auf eine SSD legen kann. Glaube ich.

Angenommen, das stimmt, sind 256 GB Speicher nicht ausreichend, um das Modell auch nur bei q4 zu laden – man wäre 1GB zu knapp, vorausgesetzt, man kann ihn zu 100% füllen (also kein Mac). Man möchte natürlich auch etwas für den KV-Cache. Ein 256-GB-Desktop mit etwas zusätzlichem VRAM von der GPU könnte es ausführen, aber normale Consumer-Boards […]

Ich bin überrascht, dass nicht mehr Leute über den Cache-Hit-Preis reden: 0,003 $ pro Million Tokens. Ich habe das Gefühl, dass der Preis für 1 Million Tokens, die über das Internet übertragen werden, teurer ist als ein Cache-Hit. Sind wir kurz davor, die Chat-Completion-API obsolet zu machen, weil die Kosten für die Kontextübertragung über das Netzwerk die Gesamtkosten der Aufgabe dominieren werden?

Hier ist derselbe Token-Verbrauch zu verschiedenen Preisen: eine echte lang laufende Coding-Aufgabe, mittelgroße Codebasis, 447 Turns.

Input 1.026.957

Output 164.667

Cache read 36.554.368

GPT-6-astra

Type Rate Cost Share

Input 10.000 10.270 19%

Output 50.000 8.233 15%

Cache 1.000 36.554 66%

Total 55.057 100%

DeepSeek v4.1 Flash, 0,003 $ Cache-Hit

Type Rate Cost Share

Input 0.300 0.308 50%

Output 1.200 0.198 32%

Cache 0.003 0.110 18%

Total 0.615 100%

DeepSeek v4.1 Flash, 0,006 $ Cache-Hit

Type Rate Cost Share

Input 0.300 0.308 42%

Output 1.200 0.198 27%

Cache 0.006 0.219 30%

Total 0.725 100%

Hypothetisch: gleiche DeepSeek-Input/Output-Raten, aber Cache so bepreist, dass er 66% der Rechnung ausmacht.

Type Rate Cost Share

Input 0.300 0.308 21%

Output 1.200 0.198 13%

Cache 0.027 0.982 66%

Total 1.487 100%

Diese Cache-Verbesserung macht das Modell bei langfristigen Aufgaben x2-x2,5 effizienter […]

Ich denke, es ist ganz klar, dass DeepSeek offensichtlich das beste AI-Lab der Welt ist.

Jede Modellveröffentlichung scheint vollgepackt mit wunderbarer Forschung und Fortschritten zu sein.

Erste Eindrücke: Das ist ein wirklich starkes Modell, und die Tatsache, dass sie gleichzeitig die Preise gesenkt haben, macht es zu einem großartigen Backup-Modell, wenn das Hauptabo ausläuft und man ein paar Tage bis zum Reset überbrücken muss.

Es scheint auch eher bereit zu sein, einfach das zu tun, worum man bittet. Mein Lieblings-Benchmark dafür ist, es zu bitten, ein ROM für ein altes Spiel herunterzuladen, das ich besitze. In meiner Jurisdiktion legal, aber die US-Modelle (außer Grok) neigen dazu, es abzulehnen.

https://xcancel.com/deepseek_ai/status/2097930608790167907

Sollte der Link sein (jetzt, wo er wieder funktioniert! :) )

Absolut verrückte Performance und Benchmark-Ergebnisse. Es schlägt Opus 5 und Sol 5.6 https://tokenstead.ai/models/deepseek-v4-1-flash

OpenCode Go hat derzeit eine 4x-Nutzungs-Promo für DeepSeek v4.1 flash laufen, keine schlechte Art, erste Erfahrungen zu sammeln (auch wenn ihre Cache-Hit-Preise wahrscheinlich immer noch sehr suboptimal sind)

Hat das schon jemand zum Coden ausprobiert? Ich bin neugierig, wie es im Vergleich zu Claude- oder GPT-Modellen bei größeren Codebasen abschneidet, besonders beim Debugging und bei Änderungen über mehrere Dateien hinweg.