mini-AGI：8GB显存也能从头训练
Mini-AGI – dynamic continual learning model trained from scratch on 8GB VRAM
别再只依赖别人训练好的模型了。mini-AGI 是一个能在 8GB 显存笔记本上从头训练并持续学习的字节级语言模型。它通过动态将权重分页到磁盘，打破了显存对参数规模的限制，实现了真正的终身学习。模型能根据数据流自动组装架构，在训练时动态扩容或修剪，且阅读与生成共用同一代码路径。虽然目前仍是玩具级实验，但它证明了在普通硬件上实现无灾难性遗忘的持续学习是完全可行的，让每个人都能训练属于自己的、永不停止进化的模型。
一个能持续学习并不断自我覆盖的模型，比一个完全不学习的模型更糟糕。
HN 评论区
73- abeppu
我没细看，但这似乎对“避免灾难性遗忘”过度承诺了。
“主干学习率”设定为专家学习率的 0.1 倍，因此不同主题的学习不成比例地发生在专家网络中，而主干部分相对更稳定。但专家群体的规模可以增减：
> 当容量不足时池子会增长，当部分不再被调用时则会缩小。
所以：
- 主干难道最终还是会遭遇灾难性遗忘，只是可能需要更长时间？
- 而在那之前，灾难性遗忘是否会在专家池缩小时以阶梯式片段发生？
- HarHarVeryFunny
Mini-AGI 这个名字完全不当——这个项目似乎瞄准的目标是成为一个具备“持续学习”能力的语言模型，但实际上并未实现。
从设计上看，它在此目标上的失败之处在于：未能提供超越“带 LRU 灾难性遗忘的记忆”的持续学习能力。
不过，还是要给作者点赞，因为他思路独特且真正动手实现了东西。如果他们继续推进，这个项目或许能发展成更成熟的东西，或者激发出不同的想法。
- whizzter
应该不会有人扔石头，我觉得大多数人既好奇又对大厂持怀疑态度，希望能有更多亲手实践的机会，因为我们怀疑这一切的成本很快会降下来。
- ilaksh
如果你实际滚动浏览他链接的转录内容，你会发现确实有看起来像是在训练的过程在发生，但在任何阶段都没有产生连贯的回复。至少我快速扫过没看到。
这或许能解释为什么没有任何类型的基准测试。
- bananaflag
这是我这辈子见过的第一个真正看起来像原初 AGI 的东西，它配得上这个名字。