OpenArch, 최신 LLM 아키텍처를 PyTorch로 직접 구현한 학습용 저장소

OpenArch – PyTorch implementations of modern LLM architectures

OpenArch는 Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi 등 최신 오픈소스 LLM 아키텍처를 PyTorch로 처음부터 구현한 저장소다. Sebastian Raschka의 LLM Architecture Gallery에 기반해 각 모델을 하나의 읽기 쉬운 파일로 제공하며, attention, normalization, positional encoding, MoE routing 등 구조적 선택을 명시적으로 비교할 수 있다. 성능보다 가독성과 학습을 목표로 하며, 기여자를 적극 환영한다.