Schluss mit „Next-Token Predictor“: Warum LLMs mehr sind als bloße Textvorhersager
Stop Thinking of LLMs as Next-Token Predictors
Der Autor argumentiert, dass die gängige Beschreibung von LLMs als „Next-Token Predictors“ zwar technisch korrekt, aber unvollständig ist. Während das Pre-Training tatsächlich darauf abzielt, den nächsten Token in bestehenden Sequenzen vorherzusagen, lernen moderne LLMs durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) auch aus eigenen, neu generierten Sequenzen. Anhand eines Schach-Analogons zeigt er, dass ein solches System eher wie ein Spieler handelt, der auf Gewinn spielt, als wie ein Vorhersager. Er fordert, das mentale Modell zu überdenken, da LLMs so auch neues Wissen entdecken können, das nicht in den Trainingsdaten vorkommt.
Das ist der Grund, warum „Next-Token Predictor“ das falsche mentale Modell ist: Es beschreibt die Form des Mechanismus, während es ignoriert, was dieser Mechanismus kodiert.
- mofeien
Wenn man es als „Next-Token-Predictor“ beschreibt und damit meint, dass es fundamental darauf beschränkt ist, nur einen Bruchteil eines Inferenzschritts zu leisten, ist das doppelt falsch:
1. Um auch nur das erste Wort eines sinnvollen Satzes auszuwählen, muss es bereits Struktur und Bedeutung des Folgenden irgendwo intern erfasst haben, meist in seinen Gewichten/Aktivierungen oder über seinen Zustandsvektor indexiert.
2. Was man sieht, wenn man ein LLM verwendet, ist nicht die Next-Token-Vorhersage direkt neben dem Prompt, sondern das Ergebnis eines Blocks von Next-Token-Vorhersagen unterschiedlicher Länge, die zufällig Fortschritt bei dem Problem in deinem Prompt gemacht haben und die nur die Ergebnisse zusammenfassen.
- Systemerror7A69
Um ehrlich zu sein, glaube ich, dass ich den Punkt verstehe, den der Artikel machen will, und bis zu einem gewissen Grad stimme ich zu, aber ich denke auch, dass der Punkt nicht wirklich gut gemacht wird.
Der Kern des Arguments, wie ich es verstanden habe, ist, dass LLMs nicht nur vorhandene Daten zum Training nutzen, sondern auch neue. Das ist gut und schön, und man kann nicht einfach annehmen, dass ein LLM einfach alle seine Daten zusammenmischt, um dir einen Durchschnitt von allem zu geben, was ihm zugeführt wurde – aber ich würde es zumindest immer noch als „Next-Token-Predictor“ bezeichnen.
Es nutzt nicht nur Trainingsdaten, sondern was es tut, ist, das nächste Token vorherzusagen, um zur Lösung zu gelangen. Nach meinem Laienwissen gehen LLMs immer noch grob Token für Token vor und entscheiden, welches am besten zum Kontext passt.
Es sagt nur nicht basierend auf seinen Trainingsdaten voraus, sondern basierend auf RLVR & mehr, und versucht, zur optimalen Lösung zu gelangen (so sehr die Lösungen überhaupt optimal sein können).
Und ich denke ehrlich, dass es hilfreich ist, das sehr im Hinterkopf zu behalten, um LLMs zu verstehen und mit ihnen umzugehen.
- bluegatty
'Next-Token-Predictor' ist ein begrenztes mentales Modell, aber es ist tatsächlich viel besser als jedes andere.
'Mustererkennung' ist eine bessere Intuition als 'Denken', auch wenn ich denke, dass die Verwendung des Begriffs 'Denken' in diesem Zusammenhang nominell völlig in Ordnung ist. Es ist nur ein belastetes Wort, das zu viel mit sich bringt.
'Es hat das Muster nicht gesehen' ist eine bessere Beschreibung der Grenzen von KI, weil es wirklich nicht sehr gut generalisiert. Die im Artikel beschriebenen Anpassungen ändern daran nichts.
Das sind Mutationen, keine Erweiterungen der Fähigkeiten.
- Planktonne
Ich werde nicht aufhören, Dinge genau zu beschreiben, nur weil jemand einen Artikel generiert hat, der ständig seinen eigenen Hauptpunkt untergräbt. Die Art und Weise, wie wir über LLMs sprechen und denken, auf eine sehr enge Menge von Begriffen zu beschränken, hilft uns nicht.
EDIT: sanftere Formulierung
- stanleykm
> Das zweite System als „Next-Move-Predictor“ zu bezeichnen, wäre seltsam. Es versucht nicht vorherzusagen, welcher Zug als nächstes in einem Datensatz erscheint. Es versucht, einen Zug zu wählen, der gewinnt.
ich verstehe den Unterschied hier nicht. Ändert das Rückwärtsarbeiten von einer Menge von Gewinnzuständen anstatt Vorwärtsarbeiten vom aktuellen Zustand irgendwie, ob es eine Vorhersage ist oder nicht?
- a3w
Die Fehler, die LLMs typischerweise bei mir machten, waren, nach „schmutz“ als jiddischem Wort zu suchen und „schmuck“ auf meinem Bildschirm zu bekommen. Ich dachte, warum der dumme Fehler? Das Next-Token-Predictor-Modell erklärt es perfekt.
Oder mit „Ja“ zu beginnen. Und dieses frühe Festlegen war eine totale Lüge, in der Diskussion wurde daraus „Ja, mag so erscheinen, aber ganz und gar nicht, aus Gründen“. Es hätte also ganz oben „Nein“ schreiben sollen, konnte sich aber nicht selbst editieren.
Aber schön, dass das eine nuanciertere Sichtweise gibt, ich muss vielleicht meine Prioritäten aktualisieren.
- teekert
Es ist in Claudisch geschrieben, oder vielleicht von einem Menschen, der in letzter Zeit zu viel Claudisch gelesen hat. Ich beginne, allergisch auf Claudisch zu werden. Noch nicht ganz so weit – aber es ist an einem Wendepunkt, der wirklich eine Erkundung wert ist und bei dem es sich lohnt, präzise zu sein.
- jvanderbot
Eine bessere Aussage könnte sein:
Aktuelle agentische Systeme mögen *aus* Next-Token-Predictors *gebaut* sein, die konzeptionell einfach sind, aber wegen agentischer Frameworks, rekursiver Aufrufe, Werkzeugnutzung und *starker* Investition in Reinforcement Learning in diesen Kontexten und für spezifische Anwendungen können sie nicht mehr als „bloße“ Next-Token-Predictors betrachtet werden.
Moderne agentische Arbeit ist wahrscheinlich eher ein Paradigma von „emergentes System aus einfachen Regeln und komplexen Interaktionen“ als eine wirklich neue Technologie.