DeepSeek V3 JAX - 190 строк чистого JAX для архитектуры DeepSeek V3
Show HN: DeepSeek V3 in ~200 lines of pure Jax

Проект воспроизводит архитектуру DeepSeek V3 (MLA, DeepSeekMoE, балансировка без aux-loss, MTP) всего в 190 строках чистого JAX — без Flax, Equinox и PyTorch. Модель обучена с нуля на MacBook Air на детективной прозе из общественного достояния. Веса хранятся в простых словарях, а весь код читается сверху вниз. В комплекте — скрипты для подготовки данных, обучения, генерации и 39 тестов. Это наглядный образовательный пример, показывающий, как устроены современные LLM, и доступный для запуска на Apple Silicon или CPU.
«Архитектура из технического отчёта DeepSeek-V3 в 190 строках чистого JAX, предобученная с нуля на MacBook Air на детективной прозе из общественного достояния.»
- mattfrommars
Такие посты всегда мотивируют разобраться, как работает инференс или что сделал OP.
Для тех, кто лучше знаком с этой областью: есть ли хорошая дорожная карта, как построить и понять интуицию за этим? Я комфортно себя чувствую в Java и Python и занимаюсь обычной SWE-работой.
- nico
> попросить языковую модель создать для меня 3D-модель сквозного рабочего процесса, чтобы уловить нюансы
Обожаю это! Да, визуализация системы значительно упрощает рассуждения и понимание.
Хотел бы я, чтобы все AI-модели шли с интерактивными анимированными рабочими процессами своей архитектуры.
> поэтому я хотел, чтобы это было по-другому просто ради самого процесса, и использовал различные книги от…
Это круто и отлично для твоего собственного проекта. В то же время полезно использовать наборы данных, которые использовали другие, потому что тогда можно более напрямую сравнивать результаты.
Отличная статья, мне очень нравится вся детализация и примеры выводов в конце. С нетерпением жду, что я смогу применить это к маленьким моделям <10M, которые я тренирую.
- armcat
Мне это очень нравится, нет ничего лучше, чем воссоздать модель с первых принципов, плюс это заставляет меня снова захотеть вернуться к Jax (сделаю это после того, как проведу достаточно времени с Zig). Спасибо за это!