Reasoning-Modelle lösen kein Optimierungsproblem – sie finden Pfade
What objective is reasoning solving?
Alex Wang erklärt Reasoning als Pfadfindung im Token-Raum: Jede Antwort ist ein Pfad vom Prompt zur Lösung, und die Erfolgswahrscheinlichkeit summiert sich über viele Pfade. RL maximiert diese Wahrscheinlichkeit, indem es erfolgreiche Pfade verstärkt – die Gewinne kommen aus der Suche während des Trainings, nicht aus längerem Nachdenken zur Inferenzzeit. Das erklärt, warum längere Ketten nicht immer helfen und warum Chains of Thought nicht zwingend ehrlich sind.
Reasoning löst eigentlich gar kein Optimierungsproblem. Ein einzelner Pfad konvergiert nicht zwangsläufig zur richtigen Antwort. Nur im Aggregat über die Verteilung der Pfade erhalten wir eine hohe Erfolgswahrscheinlichkeit.
- htrp
>Ich bin Forscher mit Sitz in San Francisco. Ich stelle mir gern vor, wohin sich die Welt entwickelt und was nötig ist, um dorthin zu gelangen.
>Ich habe meinen PhD in Informatik an der Stanford University gemacht, wo ich Long-Context-Architekturen für Sequenzmodellierung und Gedächtnis entworfen habe. Davor habe ich Mathematik und Physik an der Cornell University studiert. Zuletzt war ich Research Scientist bei Cartesia und habe an In-Context-Tokenisierung und neuartigen Architekturen (HNets) gearbeitet.
Nicht der MSL Alex Wang
- derefr
Es löst dasselbe, wofür ein „Gedankengang“ (innere Verbalisierung) im menschlichen Gehirn da ist: Es gibt eine Menge Zeug, das man als episodische Erinnerungen an Wörter, die man gehört/gelesen hat, „weiß“, das man aber noch nicht durch Übung in Reflexreaktionen verinnerlicht hat. Es ist viel schneller und billiger, sich eine Erinnerung an ein paar Wörter anzueignen, als eine ganz neue Fähigkeit zu erwerben, also sammelt man aus einem gegebenen Trainingskorpus weit mehr Wort-Erinnerungen als konkrete Fähigkeiten.
Reasoning (d. h. diese erinnerten Wörter in den eigenen mentalen Kontext hochblubbern zu lassen und dann einen speziellen Brückenreflex auf sie anzuwenden – „effektiv beliebige synaptische Aktivierungen abhängig vom Inhalt des attention-maskierten Kontexts und eines laufenden Zustands auslösen“, auch bekannt als „System-2-Denken“) ist, wie man Wort-Erinnerungen in nützliches Verhalten verwandelt. Statt native Fähigkeiten auszuführen, die in die synaptischen Gewichte eingebettet sind, führt man eine einzige sehr ausgeklügelte native Fähigkeit aus, die als Interpreter für Wort-Erinnerungsdaten fungiert und langsam und mühsam die Wörter, die man im Kopf hält, in mehr Wörter (Synthese) verwandelt oder in Assoziationen zu anderen Erinnerungen (Wort-Erinnerungen oder andere) oder in Handlungen/Outputs usw.
(Ein besonders nützlicher „Trick“ dieses Systems ist die Planung, d. h. man schickt den Interpreter durch „bloße Wörter“, die weitere „bloße Wörter“ herbeizaubern, bis man bei Wörtern ankommt, die eine Erklärung dessen bilden, was man gleich tun wird. Dann kann man sich auf einen speziellen Teil des Brückenreflexes verlassen, nämlich den „Instruction-Following“-Reflex, um […]
- piker
> Betrachten wir das Problem: „Was ist 1 + 2 + 3 + ⋯ + 10“? Eine Lösung ist, die Zahlen eine nach der anderen zu addieren: 1, 3, 6, 10 und so weiter bis 55. Eine andere Möglichkeit ist, sie von außen nach innen zu paaren: 1 + 10, 2 + 9, 3 + 8, 4 + 7 und 5 + 6 ergeben jeweils 11, und fünf Paare von 11 ergeben 55. Beide Wege landen bei der richtigen Antwort, 55.
Meinem Sohn dabei zuzusehen, wie er schwierige Matheaufgaben durcharbeitet, hat mir diese Erkenntnis aufgezwungen. In meinem Kopf gibt es einen „richtigen“ Weg, und oft muss ich mich bremsen, um seinen Gedankengang nicht zu unterbrechen. Er kommt oft einfach auf eine andere Weise ans Ziel.
- vova_hn2
Ich bin mir ziemlich sicher, dass der aktuelle Ansatz, Chain-of-Thought-Reasoning in die Gewichte einzubacken, nicht das Ende der Fahnenstange ist. Er wirkt einfach zu zufällig und ad-hoc.
P. S. Der animierte Vogel ist wirklich magisch!
- vatsachak
Alex hatte auch den Blog „Transformers as Memory“. Wunderschön. Jemand sollte ihm den Sack geben