1975년 6502 프로세서에서 Mamba 언어 모델 실행하기

Autoregressive Language Model on the 6502 Processor

Matt Beton은 아버지의 BBC Micro에서 실행할 수 있는 초소형 Mamba 기반 언어 모델을 훈련하고, 8비트 6502 프로세서(32KB RAM)용 추론 엔진을 작성했다. 모델 가중치와 추론 코드는 25KB 사용자 공간에 들어가며, 최종 구성은 추론 코드 9KB, 모델 가중치 13KB이다. 6502는 곱셈 명령어가 없어 BitNet의 3진 양자화를 활용해 가중치를 1.58비트로 압축하고, 4개 파라미터를 1바이트에 패킹했다. Mamba는 고정 크기 상태를 사용해 메모리 사용량이 일정하며, GRU의 기울기 소실 문제를 피하기 위해 선택되었다. 추론은 CC65로 컴파일된 C 코드로 구현되었고, UEF 테이프 이미지와 3.5mm-테이프 케이블을 통해 BBC Micro에 로드된다.