Google 推出 Sleep 框架：让 LLM 像人一样睡眠学习
Sleep framework: A new way for LLMs to retain knowledge in continual learning
现代 LLM 一旦部署就陷入静态，无法持续获取新知识，强行更新又会导致灾难性遗忘。Google 受人类大脑启发，提出了全新的 Sleep 框架。该框架让 LLM 在“清醒”时处理交互，在“睡眠”时进行记忆巩固与自我优化。通过参数扩展、知识蒸馏和模拟“做梦”生成合成数据，模型能将短期上下文转化为长期参数记忆。实验显示，Sleep 框架在长上下文理解、多语言持续学习及数学推理任务中表现卓越，有效解决了持续学习中的遗忘难题，为打造真正具备自主进化能力的 AI 系统铺平了道路。
我们引入的 Sleep 框架是一种持续学习范式，它赋予大型语言模型一个连续的周期性生命周期，使其能够不断学习，并将脆弱的短期上下文整合为稳定的长期参数。
HN 评论区
17- gopalv
> 策略内蒸馏（On-policy distillation）：扩展后的学生模型从教师分布中学习特定于 token 的反馈，这些分布是基于自采样的序列生成的。
奇怪的是，图中显示这是基于 KV-Cache 实现的。
这与 Databricks 的 RAFT [1] 完全不同。
我的团队在今年早些时候构建了 "Dreamtime" [2]，它使用了一种不同的机制，在多个会话间蒸馏学习成果。
它并非从 token 层提取，而是基于用户对不满意回复的提示（nudges）。
这就像锯齿波：我们积累上下文，检查不协调之处（用户可以指出“视情况而定”并修正），将其压缩回模型，然后弃用旧版本。
审计要求才是客户面临的真正问题，你需要能够回答“这个改动是什么时候发生的？是谁改的？”。除非能保留到原始会话的血统（lineage），否则从模型的最底层很难回答这些问题。
我们训练的模型不能成为帮凶，协助那些通过反复提示智能体来掩盖金融犯罪的用户。
- imimayj1337
我知道我们刚看到那个 Carbon 的发布，那确实让人困惑，但相比之下，我觉得这篇文章写得异常出色。我确实相信 Google 拥有一些杰出的科学头脑，这一点从他们能够将高度技术化的概念解释得让外行也能理解就可见一斑。
至于技术层面，尽管文章写得很好，我不确定自己是否完全理解正确，但他们本质上是不是在模型架构中预留了一些未赋权的参数，然后在“睡眠”期间用新的上下文填充这些参数，再利用“梦境”部分概述的技术来强化存储在这些 MoE 权重中的内容？
在我看来，这似乎是一个只有 Google 凭借完全集成的 AI 栈和硬件优化的历史经验才能最好解决的问题，但对于资源或算力受限的组织来说，这将会非常难以实现。