DeepSeek V3 JAX - 190줄 순수 JAX로 구현한 DeepSeek V3 아키텍처
Show HN: DeepSeek V3 in ~200 lines of pure Jax

DeepSeek V3 JAX는 DeepSeek-V3 기술 보고서의 아키텍처를 단 190줄의 순수 JAX 코드로 재현한 프로젝트입니다. Flax, Equinox, PyTorch 없이 오직 JAX만 사용해 MLA, DeepSeekMoE, 보조 손실 없는 밸런싱, MTP를 구현했으며, MacBook Air에서 공개 도메인 추리 소설 데이터로 처음부터 사전 학습되었습니다. 36.2M 파라미터 모델이 2.6시간 만에 학습되어 검증 손실 3.51을 달성했고, 전문가 로드 밸런싱이 실제로 효과가 있음을 입증했습니다. 코드는 함수 단위로 읽기 쉽게 구성되어 있어 LLM 아키텍처를 공부하려는 개발자에게 이상적인 학습 자료입니다. 릴리스된 체크포인트로 직접 텍스트 생성도 체험할 수 있습니다.
보조 손실 없이도 전문가 로드가 5.7~6.9%로 고르게 분포했고, 검증 손실은 3.921 대 3.923으로 거의 동일했습니다. 이는 논문의 주장을 그대로 확인시켜 줍니다.
HN 토론
27- mattfrommars
이런 글은 항상 추론이나 OP가 한 일을 이해하고 싶은 동기를 불러일으킨다.
이 분야에 더 익숙한 사람들에게 묻고 싶다. 이걸 어떻게 구축하고 그 직관을 이해할 수 있는지 좋은 로드맵이 있을까? 나는 Java와 Python에 익숙하고 평범한 SWE 일을 한다.
- nico
> 언어 모델에게 3D 엔드투엔드 작동 모델을 만들어 달라고 요청해서 뉘앙스를 포착하게 하려는 것
정말 좋다! 그래, 시스템을 시각화하면 추론하고 이해하기가 훨씬 쉬워진다.
모든 AI 모델이 아키텍처의 인터랙티브 애니메이션 워크플로와 함께 제공되면 좋겠다.
> 그래서 그냥 다르게 하고 싶어서 여러 책을 사용했다…
멋지고 네 프로젝트에 아주 좋다. 동시에 다른 사람들이 사용한 데이터셋을 사용하면 결과를 더 직접적으로 비교할 수 있어서 도움이 된다.
훌륭한 글이다. 세부 사항과 끝에 있는 샘플 출력 모두 정말 감사하다. 내가 훈련 중인 10M 미만의 작은 모델에 이걸 어떻게 적용할 수 있을지 기대된다.
- armcat
정말 좋다. 모델을 처음 원리부터 재현하는 것만큼 좋은 건 없다. 게다가 Jax를 다시 살펴보고 싶게 만든다(Zig와 충분히 시간을 보낸 후에 할 것이다). 고맙다!