Google, 잠자는 LLM으로 1000만 토큰 지식 유지 성공
Sleep framework: A new way for LLMs to retain knowledge in continual learning
Google 연구진이 인간의 수면에서 착안한 sleep framework를 공개했다. LLM이 깨어 있는 동안 얻은 단기 기억을 오프라인 수면 단계에서 Mixture-of-Experts 기반 파라미터 확장과 지식 증류로 장기 기억으로 고정해, 기존의 치명적 망각 없이 최대 1000만 토큰의 긴 문맥 지식을 유지하고 복잡한 추론 성능까지 높인다. 만주어·칼라망어 같은 미학습 언어 번역에서도 성능 저하가 거의 없었다.
인간의 뇌가 휴식 중에 기억을 처리하고 안정화하는 방식에서 영감을 받아, 우리는 지속 학습에서의 sleep framework를 제안한다.
- gopalv
> On-policy distillation: 확장된 학생 모델은 자체 샘플링한 시퀀스에서 생성된 교사 분포로부터 토큰별 피드백을 학습합니다.
이상한 점은 다이어그램에서 이것이 KV-Cache에 기반한다는 거네요.
Databricks RAFT [1]와는 완전히 다릅니다.
제 팀은 올해 초 "Dreamtime"을 만들었는데 [2], 이는 여러 세션에 걸쳐 학습 내용을 증류하는 다른 메커니즘을 사용했습니다.
이것은 토큰 계층에서 가져온 것이 아니라 불만족스러운 응답에 대한 사용자의 넛지에서 가져왔습니다.
이는 톱니파처럼 작동합니다. 컨텍스트를 축적하고, 불협화음(사용자가 "상황에 따라 다르다"고 말하고 수정할 수 있음)을 확인하고, 다시 압축하고, 이전 것을 폐기합니다.
고객에게 진짜 문제는 감사 요구 사항입니다. "언제 변경되었고 누가 변경했는가?"를 물을 수 있어야 하는데, 원래 세션에 대한 계보를 유지할 수 없다면 모델의 최하위 계층에서는 답하기 어렵습니다.
우리가 훈련한 모델은 사용자가 에이전트를 반복적으로 넛지하여 금융 범죄를 숨기려는 공모자가 될 수 없습니다.
- macleginn
- imimayj1337
방금 탄소 발표가 있었고 그것이 확실히 혼란스러웠다는 건 알지만, 상대적으로 이 글은 예외적으로 잘 쓰인 기사라고 생각합니다. Google에는 뛰어난 과학적 인재들이 있다고 믿습니다. 고도로 기술적인 개념을 일반인이 이해할 수 있는 방식으로 설명하는 능력이 이를 보여줍니다.
기술적인 측면에 관해서는, 글이 잘 쓰였음에도 불구하고 제가 완전히 이해했는지 확실하지 않지만, 본질적으로 모델 아키텍처에 내장된 일종의 가중치 없는 파라미터를 보류해 두었다가 '수면' 중에 새로운 컨텍스트로 채우고, '꿈' 섹션에서 설명한 기법을 사용해 그 MoE 가중치에 저장된 내용을 강화하는 것인가요? 제게는 이는 완전히 통합된 AI 스택과 하드웨어 최적화에 대한 역사적 경험 덕분에 Google만이 가장 잘 해결할 수 있는 솔루션처럼 보이지만, 리소스와 컴퓨팅이 더 제한된 조직이라면 하기 어려울 것입니다.