OpenArch implementa desde cero las arquitecturas de los LLM modernos en PyTorch
OpenArch – PyTorch implementations of modern LLM architectures
OpenArch es un repositorio de GitHub que ofrece implementaciones en PyTorch de arquitecturas de LLM de código abierto como Llama, Qwen, DeepSeek, Gemma, GPT-OSS y Kimi, escritas desde cero con un enfoque en la claridad y el aprendizaje. Cada modelo ocupa un solo archivo legible que hace explícitas decisiones estructurales como el tipo de atención, la normalización, el enrutamiento MoE y la codificación posicional, facilitando su comparación. El proyecto busca contribuir a las 72 arquitecturas de la galería de Sebastian Raschka y acepta colaboraciones.
El objetivo no es competir con `transformers` ni con otras librerías de producción. El objetivo es la claridad y el aprendizaje: un único archivo legible por arquitectura, con las decisiones estructurales (tipo de atención, normalización, mezcla de capas, enrutamiento MoE, codificación posicional) explícitas y fáciles de comparar en paralelo.