Google придумал, как заставить LLM «спать», чтобы они не забывали старое
Sleep framework: A new way for LLMs to retain knowledge in continual learning
Google Research представил sleep framework — подход к непрерывному обучению LLM, вдохновлённый тем, как мозг стабилизирует память во сне. Модель чередует активную фазу с офлайн-консолидацией: расширяет память через Mixture-of-Experts, переносит краткосрочные знания в долгосрочные параметры и «видит сны», генерируя синтетические примеры для самоулучшения. Это позволяет запоминать факты и контекст до 10M токенов без катастрофического забывания, обходя ICL, SFT и Titans.
В непрерывном обучении граница между тренировкой и инференсом становится искусственной; интеллектуальный агент должен постоянно учиться, адаптироваться и обрабатывать информацию.
- gopalv
> On-policy distillation: The expanded student model learns token-specific feedback from teacher distributions generated on self-sampled sequences.
Странно видеть это на основе KV-Cache на диаграммах.
Совершенно не похоже на Databricks RAFT [1].
Моя команда в начале этого года сделала «Dreamtime» [2], где использовался другой механизм для дистилляции знаний между несколькими сессиями.
Он тянул не из токенного слоя, а из подсказок пользователя по неудовлетворительным ответам.
Это работает как пилообразная волна: мы накапливаем контекст, проверяем на диссонансы (пользователь может сказать «Зависит от обстоятельств» и исправить), сжимаем обратно, списываем старый.
Настоящая проблема для заказчиков — требования к аудиту, когда нужно уметь спросить: «Когда это изменилось? И кто это изменил?» — на что было трудно ответить с самого нижнего слоя модели, если только не сохранить происхождение до исходных сессий.
Модель, которую мы обучаем, не может быть пособником пользователя, желающего скрыть какие-то финансовые преступления, раз за разом подталкивая агента.
- imimayj1337
Я знаю, что у нас только что было углеродное объявление, которое было явно сбивающим с толку, но по сравнению с ним, я думаю, это исключительно хорошо написанная статья. Я действительно верю, что у Google есть выдающиеся научные умы, о чём свидетельствует их способность брать высокотехнические концепции и объяснять их понятным для обывателя образом.
Что касается технической сути, я не уверен, что полностью понял правильно, несмотря на то, как хорошо это написано, но не хранят ли они по сути некие невзвешенные параметры, встроенные в архитектуру модели, которые затем могут заполнять новым контекстом во время «сна», а потом использовать методы, описанные в разделе «сон», чтобы закрепить то, что сохраняется в этих весах MoE? Мне это кажется решением, которое лучше всего под силу только Google благодаря их полностью интегрированному AI-стеку и историческому опыту в оптимизации аппаратного обеспечения, но которое было бы довольно трудно реализовать, если вы организация с более ограниченными ресурсами и вычислительными мощностями.
- Shacharp
Мне нравится, что они тестировали это на Qwen 3. Интересно, экспериментировали ли они с размещением новых параметров в системной RAM или даже на SSD. Большая досада, что они не опубликовали эту часть.