8GBのノートPCでゼロから訓練、読みながら学び続ける言語モデル mini-AGI
Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM
mini-AGIは、8GB VRAMのノートPCでスクラッチから訓練できる継続学習型のバイトレベル言語モデル。重みをディスク上にファイルとして保存し、必要な分だけVRAMにページングすることで、パラメータ数をディスク容量で制限。訓練中に新しい専門家を追加し、不要なものを削除。同じコードパスで読みと生成を実行する。まだトイレベルだが、破滅的忘却なしに単一ストリームから継続学習できることを示す実験。
ゲートはここでは単に情報がないだけでなく、逆予測的である。最小のゲートは最も忙しい専門家に属する。
HNでの議論
73- jmatthews
これは面白いアプローチですね。まず、あなたの成果を共有してくれてありがとう。私は似たような研究をしたことがあります。継続学習モデルを訓練したこともありますし、パラメトリック知識をハードドライブにオフロードしたこともあります。機能するモデルでそれをやるのがどれほど難しいか、人は過小評価しています。もっと深く掘り下げるのが楽しみです。
- abeppu
注意深く見たわけではないですが、壊滅的忘却を避けるという点で過大な期待を抱かせているように思えます。
「トランクの学習率」はエキスパートの学習率の0.1倍に設定されているので、異なる主題の学習は不釣り合いにエキスパートで起こり、トランク部分は比較的安定しています。しかしエキスパートの集団は増えたり減ったりします：
> 容量が不足するとプールは成長し、その一部が要求されなくなると縮小します。
つまり：
- トランクは結局のところ_最終的には_壊滅的忘却を経験するのではないですか？ただ、それがずっと長くかかるだけかもしれませんが？
- そしてその前に、エキスパートプールが縮小するたびに、壊滅的忘却が段階的に起こるのではないですか？
- xtracto
これはかなりクールですね、共有してくれてありがとう。最初に読んで「継続的」と見たとき、一瞬、私がずっと考えていたアイデアを実装しているのかと思いました：
継続的に/ノンストップで考えるエージェントが欲しいのです。LLMに入って出てくる「思考の連鎖」のループを想像してください。それを続けて、私たちのように「反芻」させるのです。
そして、私がそれとコミュニケーションを取りたいときに、何らかの「メッセージ」やIRQを追加します。物事を尋ねたりするために。あなたがやっているこの学習に加えて、そうしたサイクルこそが真のAGIに欠けているものだと思います。
- Schlagbohrer
あの素敵なグラフの図の中の一つのグラフが何を意味するのか理解できたらいいのに。縦軸も横軸も説明がない。見た目はきれいだけどね。
- whizzter
誰も石を投げたりしないよ。ほとんどの人は大手企業に対して好奇心や疑念を抱いていて、もっと実践的なものを求めているんだ。このコストはすぐに下がるだろうと疑っているからね。