순수 C로 만든 MicroGPT, Apple M5에서 초당 1000만 토큰 처리

Microgpt in pure C hits 10M tps on Apple m5

GitHub에 공개된 microgpt-c는 의존성 없는 순수 C 언어로 GPT를 학습하고 추론할 수 있는 가장 원자적인 구현체다. 단일 C 파일에 순방향 전파, 역전파, Adam 옵티마이저, 샘플링을 모두 담았으며, 약 32,000개의 이름 데이터로 몇 초 만에 학습하고 새로운 이름을 생성한다. ARM64의 NEON과 x86-64의 AVX2 백엔드를 지원하며, Apple M5 Pro에서 초당 1,016만 토큰, AMD Ryzen 5 5600H에서 초당 693만 토큰을 처리한다. 모델 파라미터는 4,192개로, 학습에 사용하지 않은 데이터에 대해서도 일반화 성능을 보여준다.