DeepSeek V3 in JAX - 190行の純粋なJAXで実装したDeepSeek V3アーキテクチャ
Show HN: DeepSeek V3 in ~200 lines of pure Jax

DeepSeek V3のアーキテクチャを190行の純粋なJAXで実装したプロジェクトです。MLA、DeepSeekMoE、補助損失なしのバランシング、MTPといった論文の主要アイデアを、FlaxやPyTorchを使わずに読みやすいコードで再現。MacBook Air上で公開ドメインの探偵小説を学習データに、わずか2.6時間で36.2Mパラメータのモデルをゼロから事前学習しました。チェックポイントも公開されており、実際にテキスト生成を試せます。大規模モデルの仕組みを学びたい開発者にとって、格好の教材となるでしょう。
補助損失なしのバランシングを有効にしても無効にしても、ステップ2000での検証損失は同じ(3.921対3.923)。バイアスはコストをかけずにエキスパートを均等化する——これが論文の主張です。
HNでの議論
27- mattfrommars
こういう投稿は、推論の仕組みやOPが何をしたのかを理解したいというモチベーションをいつも駆り立ててくれる。
この分野にもっと詳しい人たちに聞きたいのだけど、これを構築して直感的に理解するための良いロードマップはある?私はJavaとPythonは問題なく使えるし、普通のSWEの仕事をしている。
- nico
> 言語モデルに3Dのエンドツーエンドで動くモデルを作ってもらって、ニュアンスを捉えようと頼むなんて
これ大好き!そう、システムを視覚化すると、推論して理解するのがずっと楽になるよね
すべてのAIモデルに、アーキテクチャのインタラクティブなアニメーションワークフローが付いてきたらいいのに
> だからただ違うものにしたくて、いろんな本を使って…
それはクールだし、自分のプロジェクトにはすごくいいね。同時に、他の人が使ったデータセットを使うと、結果をより直接的に比較できるから役立つよ
素晴らしい記事で、詳細と最後のサンプル出力が本当にありがたい。10M未満の小さなモデルを訓練しているんだけど、これを何に応用できるか楽しみだ
- armcat
これは大好きだ、第一原理からモデルを再現するようなものはないし、またJaxをやり直したくなる(Zigに十分時間を費やしたらやるつもり)。ありがとう!