Schluss mit „Next-Token Predictor“: Warum LLMs mehr sind als bloße Textvorhersager

Stop Thinking of LLMs as Next-Token Predictors

Der Autor argumentiert, dass die gängige Beschreibung von LLMs als „Next-Token Predictors“ zwar technisch korrekt, aber unvollständig ist. Während das Pre-Training tatsächlich darauf abzielt, den nächsten Token in bestehenden Sequenzen vorherzusagen, lernen moderne LLMs durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) auch aus eigenen, neu generierten Sequenzen. Anhand eines Schach-Analogons zeigt er, dass ein solches System eher wie ein Spieler handelt, der auf Gewinn spielt, als wie ein Vorhersager. Er fordert, das mentale Modell zu überdenken, da LLMs so auch neues Wissen entdecken können, das nicht in den Trainingsdaten vorkommt.