8GB VRAM 노트북에서 처음부터 훈련한 continual learning 모델 mini-AGI

Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM

mini-AGI는 8GB VRAM GPU에서 배치 1 스트림으로 처음부터 훈련되는 continual learning 바이트 레벨 언어 모델이다. 가중치를 디스크에 저장하고 필요할 때만 VRAM으로 페이징하여 파라미터 수가 VRAM이 아닌 디스크 공간에 의해 제한된다. 훈련 중 필요하면 새로운 전문가를 추가하고 사용되지 않는 것은 가지치기하며, catastrophic forgetting 없이 단일 스트림에서 계속 학습할 수 있음을 보여주는 작은 실험이다. 아직 장난감 수준이지만 누구나 자신의 하드웨어에서 모델을 훈련하거나 계속 훈련할 수 있는 가능성을 제시한다.