DeepSeek V3 JAX - 190 строк чистого JAX для архитектуры DeepSeek V3

Show HN: DeepSeek V3 in ~200 lines of pure Jax

DeepSeek V3 JAX - 190 строк чистого JAX для архитектуры DeepSeek V3

Проект воспроизводит архитектуру DeepSeek V3 (MLA, DeepSeekMoE, балансировка без aux-loss, MTP) всего в 190 строках чистого JAX — без Flax, Equinox и PyTorch. Модель обучена с нуля на MacBook Air на детективной прозе из общественного достояния. Веса хранятся в простых словарях, а весь код читается сверху вниз. В комплекте — скрипты для подготовки данных, обучения, генерации и 39 тестов. Это наглядный образовательный пример, показывающий, как устроены современные LLM, и доступный для запуска на Apple Silicon или CPU.

«Архитектура из технического отчёта DeepSeek-V3 в 190 строках чистого JAX, предобученная с нуля на MacBook Air на детективной прозе из общественного достояния.»
  1. mattfrommars

    Такие посты всегда мотивируют разобраться, как работает инференс или что сделал OP.

    Для тех, кто лучше знаком с этой областью: есть ли хорошая дорожная карта, как построить и понять интуицию за этим? Я комфортно себя чувствую в Java и Python и занимаюсь обычной SWE-работой.

  2. nico

    > попросить языковую модель создать для меня 3D-модель сквозного рабочего процесса, чтобы уловить нюансы

    Обожаю это! Да, визуализация системы значительно упрощает рассуждения и понимание.

    Хотел бы я, чтобы все AI-модели шли с интерактивными анимированными рабочими процессами своей архитектуры.

    > поэтому я хотел, чтобы это было по-другому просто ради самого процесса, и использовал различные книги от…

    Это круто и отлично для твоего собственного проекта. В то же время полезно использовать наборы данных, которые использовали другие, потому что тогда можно более напрямую сравнивать результаты.

    Отличная статья, мне очень нравится вся детализация и примеры выводов в конце. С нетерпением жду, что я смогу применить это к маленьким моделям <10M, которые я тренирую.

  3. armcat

    Мне это очень нравится, нет ничего лучше, чем воссоздать модель с первых принципов, плюс это заставляет меня снова захотеть вернуться к Jax (сделаю это после того, как проведу достаточно времени с Zig). Спасибо за это!

Ещё за этот день

2026-11-14