deepseek-v3-jax: 190行纯JAX实现DeepSeek V3架构

Show HN: DeepSeek V3 in ~200 lines of pure Jax

deepseek-v3-jax: 190行纯JAX实现DeepSeek V3架构

这是一个令人惊叹的开源项目,仅用190行纯JAX代码就完整复现了DeepSeek V3的核心架构,包括MLA、DeepSeekMoE和MTP等先进特性。开发者在MacBook Air上从零开始训练,无需Flax、Equinox或PyTorch等框架依赖。所有模型参数仅为字典,代码逻辑清晰可读。该项目不仅展示了极简代码实现复杂模型的可能性,还提供了详细的训练数据、验证结果和复现指南,是学习大模型架构与JAX框架的绝佳实践案例。

参数只是数组的字典,模型的每一部分都是你可以从头到尾阅读的函数。
  1. mattfrommars

    这类帖子总能激发我去理解推理过程或是 OP 到底做了什么。

    对于在这个领域更熟悉的朋友们,有没有什么好的路线图,能指导如何构建并理解这背后的直觉?我熟悉 Java 和 Python,平时做的是原生软件开发工作。

  2. armcat

    我太喜欢这个了,没有什么比从头开始复现一个模型更让人兴奋的了,这也让我想重新拾起 Jax(不过得等我花足够时间研究完 Zig 之后)。感谢分享!

  3. nico

    > 问语言模型帮我创建一个 3D 端到端的可运行模型,以便捕捉其中的细微差别

    太棒了!没错,拥有系统的可视化确实能让人更容易地推理和理解。

    我希望所有 AI 模型都能附带其架构的交互式动画工作流。

    > 所以我想让它与众不同,仅仅为了不同而不同,并使用了……的各种书籍

    这很酷,对你自己的项目来说很棒。同时,使用其他人用过的数据集也有帮助,因为这样你可以更直接地对比结果。

    写得非常好,我真的很欣赏其中详实的细节以及文末的示例输出。很期待看看我能把这套方法应用到我正在训练的那些小于 1000 万参数的小模型上。

同日更多故事

2026-11-14