Google、睡眠を模したLLMが1000万トークンの知識を保持すると発表
Sleep framework: A new way for LLMs to retain knowledge in continual learning
Googleの研究チームが、人間の睡眠にヒントを得た「sleep framework」を発表した。モデルを活動フェーズとオフラインの睡眠フェーズに交互に置くことで、短期コンテキストの記憶をMixture of Expertsのパラメータ拡張と知識蒸留によって長期記憶へと定着させる。REM睡眠を模した「dreaming」では自己生成データで推論能力を磨く。BABILongでは最大1000万トークンまで性能を維持し、GPT-4やTitansを上回った。
睡眠中のオフラインフェーズでは、モデルが事前に割り当てられたMixture-of-Experts（MoE）のメモリブロックを解放し、自己生成した練習用の例を使って数値的な重みを更新する。
- gopalv
> On-policy distillation: The expanded student model learns token-specific feedback from teacher distributions generated on self-sampled sequences.
図のKV-Cacheに基づいているのを見るのは奇妙だ。
Databricks RAFT [1]とは全く違う。
私のチームは今年初めに「Dreamtime」を構築した[2]。これは複数のセッションにわたる学習を蒸留するために異なるメカニズムを使用していた。
これはトークン層からではなく、不満足な応答に対するユーザーのナッジから引き出した。
これはノコギリ波のように機能し、コンテキストを蓄積し、不協和音をチェックし（ユーザーが「場合による」と言って修正できる）、それを圧縮して戻し、古いものを廃止する。
監査要件は顧客にとって本当の問題であり、「これはいつ変更されたのか？誰が変更したのか？」と尋ねる必要があるが、元のセッションへの系譜を保持できない限り、モデルの最下層から答えるのは難しい。
私たちが訓練するモデルは、エージェントを繰り返しナッジすることで金融犯罪を隠そうとするユーザーの共犯者になることはできない。
- macleginn
- imimayj1337
先ほど炭素の発表があり、明らかに混乱を招いたことは承知していますが、比較すると、これは非常にうまく書かれた記事だと思います。Googleには卓越した科学者がいると思います。高度に技術的な概念を一般人にも理解できるように説明する能力がそれを示しています。
技術的な性質については、よく書かれているにもかかわらず、完全に理解できたかどうかはわかりませんが、彼らは本質的に、モデルアーキテクチャに組み込まれた一種の重み付けされていないパラメータを保持し、それを「睡眠」中に新しいコンテキストで埋め、その後「夢」のセクションで概説された技術を使用して、それらのMoE重みに保存されたものを強化しているのでしょうか？それは、完全に統合されたAIスタックとハードウェア最適化の歴史的な経験を持つGoogleだけが最も適している解決策のように思えますが、よりリソースと計算が制約された組織ではかなり難しいでしょう。