DeepSeek V3 JAX - 190 Zeilen reines JAX für MLA, MoE und MTP
Show HN: DeepSeek V3 in ~200 lines of pure Jax

DeepSeek V3 JAX implementiert die Architektur des DeepSeek-V3 Technical Reports in nur 190 Zeilen reinem JAX – ohne Flax, Equinox oder PyTorch. Das Projekt enthält Multi-head Latent Attention, DeepSeekMoE mit aux-loss-freier Balance, Multi-Token Prediction und mehr. Trainiert wurde ein 36,2-Millionen-Parameter-Modell von Grund auf auf einem MacBook Air mit öffentlich-rechtlichen Kriminalromanen. Der Code ist bewusst einfach und lesbar gehalten: Parameter sind einfache Dicts von Arrays, jede Modellkomponente ist eine nachvollziehbare Funktion. Ein Write-up erklärt Schritt für Schritt die Implementierung, Diagramme und Ergebnisse. Der Trainings-Checkpoint sowie die Daten sind als v1.0-Release verfügbar – zum Ausprobieren und Reproduzieren.
Die Architektur aus dem DeepSeek-V3 Technical Report in 190 Zeilen reinem JAX, von Grund auf auf einem MacBook Air vortrainiert mit gemeinfreier Detektivliteratur. Kein Flax, kein Equinox, kein PyTorch.
- mattfrommars
Posts wie diese wecken immer die Motivation zu verstehen, wie Inference funktioniert oder was OP gemacht hat.
Für Leute, die in diesem Bereich besser bewandert sind: Gibt es eine gute Roadmap, wie man das baut und die Intuition dahinter versteht? Ich fühle mich mit Java und Python wohl und mache normales SWE-Zeug.
- nico
> ein Sprachmodell zu bitten, mir ein 3D-End-to-End-Arbeitsmodell zu erstellen, um die Nuancen zu erfassen
Liebe das! Ja, eine Visualisierung des Systems macht es viel einfacher, darüber nachzudenken und es zu verstehen
Ich wünschte, alle KI-Modelle kämen mit interaktiven animierten Workflows ihrer Architektur
> also wollte ich, dass es einfach nur anders ist, und habe verschiedene Bücher von … benutzt
Das ist cool und großartig für dein eigenes Projekt. Gleichzeitig hilft es, Datensätze zu verwenden, die andere benutzt haben, weil man dann Ergebnisse direkter vergleichen kann
Hervorragender Artikel, ich schätze all die Details und die Beispielausgaben am Ende sehr. Bin gespannt, was ich davon auf die kleinen <10M-Modelle anwenden kann, die ich trainiere
- armcat
Ich liebe das, es gibt nichts Schöneres, als ein Modell von Grund auf neu zu erstellen, außerdem bekomme ich Lust, mir Jax wieder anzusehen (ich mache es, nachdem ich genug Zeit mit Zig verbracht habe). Danke dafür!