DeepSeek V3 JAX - Implementación minimalista del modelo en 190 líneas
Show HN: DeepSeek V3 in ~200 lines of pure Jax

DeepSeek V3 JAX es una implementación desde cero del modelo DeepSeek-V3 en solo 190 líneas de JAX puro, sin Flax, Equinox ni PyTorch. Incluye Multi-head Latent Attention, DeepSeekMoE, balanceo sin pérdida auxiliar y predicción multi-token. Entrenado en una MacBook Air con 36.2M de parámetros y 21.7M de tokens de ficción detectivesca de dominio público, logra una pérdida de validación de 3.51. El código es legible y cada parte del modelo es una función clara. Ideal para quienes quieren entender la arquitectura sin distracciones. El checkpoint entrenado está disponible para probar la generación de texto.
El sesgo equilibra a los expertos sin coste alguno, que es precisamente lo que afirma el artículo.
- mattfrommars
Publicaciones como estas siempre me motivan a entender cómo funciona la inferencia o qué hizo el OP.
Para quienes están más familiarizados en este espacio, ¿hay una buena hoja de ruta sobre cómo construir y entender la intuición detrás de esto? Me siento cómodo con Java y Python y hago trabajo de SWE vanilla.
- nico
> pedirle a un modelo de lenguaje que me cree un modelo 3D funcional de extremo a extremo para captar los matices
¡Me encanta! Sí, tener una visual del sistema hace que sea mucho más fácil razonar y entender.
Ojalá todos los modelos de IA vinieran con flujos de trabajo animados e interactivos de su arquitectura.
> así que quería que fuera diferente solo por el gusto de hacerlo y usé varios libros de…
Eso está genial y es excelente para tu propio proyecto. Al mismo tiempo, ayuda usar conjuntos de datos que otros han usado, porque entonces puedes comparar resultados más directamente.
Excelente artículo, realmente aprecio todo el detalle y los ejemplos de salida al final. Emocionado por ver qué podría aplicar a los modelos pequeños <10M que he estado entrenando.
- armcat
Me encanta esto, no hay nada como recrear un modelo desde los primeros principios, además me dan ganas de volver a Jax (lo haré después de pasar suficiente tiempo con Zig). ¡Gracias por esto!