8달러짜리 ESP32-S3에서 트랜스포머를 처음부터 훈련시키다

An SLM trained on $8 ESP32-S3

이 프로젝트는 8달러짜리 ESP32-S3 마이크로컨트롤러에서 문자 단위 트랜스포머를 처음부터 훈련시키는 방법을 보여줍니다. 추론이 아니라 훈련입니다. 순방향 전파, 역전파, 가중치 업데이트가 모두 칩 내부에서 C로 직접 구현되어 수행됩니다. 모델은 약 319,000개의 파라미터를 가지며, 클링온어 코퍼스로 훈련됩니다. 이는 데이터가 사전에 존재하지 않는 엣지 디바이스에서 온디바이스 학습의 가능성을 입증합니다. 메모리 제약, 수작업 역전파, 재현 방법 등이 자세히 설명됩니다.