mini-AGI:8GB显存也能从头训练
Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM

别再只依赖别人训练好的模型了。mini-AGI 是一个能在 8GB 显存笔记本上从头训练并持续学习的字节级语言模型。它通过动态将权重分页到磁盘,打破了显存对参数规模的限制,实现了真正的终身学习。模型能根据数据流自动组装架构,在训练时动态扩容或修剪,且阅读与生成共用同一代码路径。虽然目前仍是玩具级实验,但它证明了在普通硬件上实现无灾难性遗忘的持续学习是完全可行的,让每个人都能训练属于自己的、永不停止进化的模型。
一个能持续学习并不断自我覆盖的模型,比一个完全不学习的模型更糟糕。