OpenArch implementiert moderne LLM-Architekturen in PyTorch – von Llama bis Kimi
OpenArch – PyTorch implementations of modern LLM architectures
OpenArch ist eine Sammlung handgeschriebener PyTorch-Implementierungen moderner Open-Source-LLM-Architekturen wie Llama, Qwen, DeepSeek, Gemma, GPT-OSS und Kimi. Jedes Modell liegt als einzelne, gut lesbare Datei vor, die die architektonischen Entscheidungen – Attention-Typ, Normalisierung, Positionskodierung, MoE-Routing – explizit macht und den direkten Vergleich ermöglicht. Das Projekt basiert auf Sebastian Raschkas LLM Architecture Gallery und priorisiert Klarheit und Lernen über Produktionsleistung. Beiträge sind willkommen.
Das Ziel ist nicht, mit `transformers` oder anderen Produktionsbibliotheken zu konkurrieren. Das Ziel ist Klarheit und Lernen: eine einzelne lesbare Datei pro Architektur, mit den strukturellen Entscheidungen (Attention-Typ, Normalisierung, Layer-Mix, MoE-Routing, Positionskodierung), die explizit und leicht Seite an Seite zu vergleichen sind.