8GBのノートPCでゼロから訓練、読みながら学び続ける言語モデル mini-AGI

Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM

mini-AGIは、8GB VRAMのノートPCでスクラッチから訓練できる継続学習型のバイトレベル言語モデル。重みをディスク上にファイルとして保存し、必要な分だけVRAMにページングすることで、パラメータ数をディスク容量で制限。訓練中に新しい専門家を追加し、不要なものを削除。同じコードパスで読みと生成を実行する。まだトイレベルだが、破滅的忘却なしに単一ストリームから継続学習できることを示す実験。