OpenArch: PyTorch-реализации современных LLM-архитектур для обучения
OpenArch – PyTorch implementations of modern LLM architectures
OpenArch — это репозиторий с рукописными реализациями на PyTorch архитектур Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi и других. Каждая модель представлена в отдельном читаемом файле, где явно показаны ключевые архитектурные решения: тип внимания, нормализация, позиционное кодирование, MoE-маршрутизация. Цель — не производительность, а ясность и обучение. Проект основан на галерее архитектур Sebastian Raschka и приглашает к участию.
Чтение официального кода моделей может быть сложным, потому что production-репозитории оптимизированы для скорости, шардинга и обратной совместимости. Этот репозиторий оптимизирован для чтения.