Google lässt LLMs schlafen, damit sie nichts mehr vergessen
Sleep framework: A new way for LLMs to retain knowledge in continual learning
Google Research stellt ein „Sleep-Framework“ vor, das LLMs einen periodischen Lebenszyklus aus aktiver Interaktion und Offline-Konsolidierung gibt. In der Schlafphase erweitert das Modell per Mixture-of-Experts seine Parameter, destilliert flüchtiges Kurzzeitwissen in stabile Gewichte und erzeugt eigene Übungsdaten. So behalten Modelle Wissen über bis zu 10M Token, lernen neue Fakten ohne katastrophales Vergessen und verbessern sogar ihr mathematisches Reasoning.
Während der Offline-Schlafphase entsperrt das Modell vorab zugewiesene Mixture-of-Experts-Speicherblöcke und aktualisiert seine numerischen Gewichte anhand selbst generierter Übungsbeispiele.
- gopalv
> On-Policy-Destillation: Das erweiterte Studentenmodell lernt token-spezifisches Feedback aus Lehrer-Verteilungen, die auf selbst gesampelten Sequenzen generiert wurden.
Das Seltsame ist, dass dies in den Diagrammen auf dem KV-Cache basiert.
Ganz anders als das Databricks RAFT [1].
Mein Team hat Anfang dieses Jahres "Dreamtime" gebaut [2], das einen anderen Mechanismus nutzte, um Erkenntnisse über mehrere Sitzungen hinweg zu destillieren.
Dies zog nicht von der Token-Ebene, sondern von Nutzer-Anstößen bei unbefriedigenden Antworten.
Das funktioniert wie eine Sägezahnwelle, bei der wir Kontext ansammeln, auf Dissonanzen prüfen (ein Nutzer kann sagen "Es kommt darauf an" und es korrigieren), ihn wieder komprimieren und den alten verwerfen.
Die Audit-Anforderungen sind das eigentliche Problem für Kunden, bei denen man fragen können muss: "Wann hat sich das geändert? Und wer hat es geändert?" – was aus der untersten Schicht des Modells schwer zu beantworten war, es sei denn, man kann die Abstammung zu den ursprünglichen Sitzungen bewahren.
Ein Modell, das wir trainieren, kann nicht als Komplize für einen Nutzer dienen, der Finanzkriminalität verbergen will, indem er den Agenten wiederholt anstößt.
- shevis
> Die Parametererweiterung liefert dann die Kapazität, die benötigt wird, um diese ausgewählten Erinnerungen zu schreiben, ohne zuvor konsolidiertes Wissen zu überschreiben.
Das scheint hier der limitierende Faktor zu sein, abhängig von der Effizienz
- deepwoods
Ich frage mich, wie gut sich das auf ein viel größeres Modell übertragen ließe. Sie haben die Experimente mit vergleichsweise winzigen Modellen durchgeführt. Vermutlich müsste man viel mehr Tokens durchpflügen, um die Gewichte eines Modells mit mehreren Billionen Parametern zu bewegen. Es könnte einfach sein, dass es nicht so schwer ist, Llama-3B und Llama 3-8B zu verbessern, weil sie von Anfang an nicht sehr gut sind. Sie vergleichen es mit anderen Methoden – In-Context-Learning und TTT –, aber ich wäre neugierig, es mit einer "Kontrollgruppe" von RLHF verglichen zu sehen.
Nebenbei bemerkt: Ich verstehe, dass dies ein Preprint ist, aber es ist sehr seltsam, einen Text mit offensichtlichen Tippfehlern und Grammatikfehlern zu sehen (z. B. Seite 13: "We attributes this results to," "In this setting (see Table 4), Sleep achieves a 80% success rate, higher then the other methods.") in einer Ära mit LLMs. Irgendwie zementiert das, dass dies von Menschen geschrieben wurde, und ich bin ganz dafür, aber es fällt mir mehr auf als früher.