Ein lineares Programm ersetzt 8 Stunden KI-Gewichtstuning
Can a Linear Program Do Weight-Space Programming?
Nachdem MIT CSAIL gezeigt hatte, dass GPT-6 Astra per Gewichtseditierung die Mathe-Fähigkeiten von Qwen3.5-0.8B von 7,9% auf 48,1% auf MATH-500 hebt, fiel auf: Der Großteil von Astras Suche war eigentlich das Lösen eines linearen Programms durch Ausprobieren. Zwei LP-Lösungen von je etwa einer Minute erzielen dasselbe Ergebnis – mit achtmal weniger veränderten Gewichten. Der Beitrag erklärt, warum die Wahl der Editierrichtung ein LP ist und was das über die eigentliche Korrektur verrät.
Ein paar LP-Lösungen, jeweils etwa eine Minute, erledigen dieselbe Aufgabe mit achtmal weniger veränderten Gewichten.
- jsw97
Vielleicht will der Autor genau darauf hinaus, aber wenn LP-Solver nützliche Werkzeuge zum Bearbeiten von Gewichten sind, dann könnte Astra mit Zugang zu dieser Methodik beim Weight Editing effektiver werden.
Die Interpretation hier ist weniger, dass ein LP Astras Arbeit erledigen kann – schließlich lautete der Astra-Prompt „improve Qwen's math by changing weights“ oder ähnlich. Vielmehr ist es so, dass der Solver mit etwas Führung (dieses Verhalten eliminieren, jenes Verhalten bewahren, ausgedrückt durch lineare Constraints) deutlich effizienter ist als Astras Trial-and-Error. Im Wesentlichen wäre der Solver also eine Möglichkeit, all den zeitaufwendigen Kram abzukürzen und Astras Absicht unmittelbarer auszudrücken. Und dann könnte Astra vermutlich darauf iterieren, um zu einer besseren Lösung zu kommen.
Die Verwendung eines LP-Solvers ist hier eine wirklich coole Erkenntnis.
- whatever1
Traditionelle mathematische Programmierung wird die RL-Schleife ersetzen oder überlagern.
Wir sind an dem Punkt angelangt, an dem wir strikte Constraints in den Outputs durchsetzen müssen.
Rewards/Penalties können das niemals leisten, wenn man mehrere Ziele hat.
- rbnafo
Sehr interessante Analyse. Es wäre großartig, das Comeback des LP und die Optimierung zu erleben. Ich habe immer den Eindruck, dass wir uns in vielen Bereichen mit suboptimalen Lösungen zufriedengegeben haben, nur weil wir zu sehr an LLMs hängen und der Numerischen Analysis gegenüber misstrauisch geworden sind.
- dansitu
Schöne Analyse. Die Einfachheit davon deutet darauf hin, dass es während des Trainings per Regularisierung geschehen sollte.
- daemonk
Was genau ist der Unterschied zwischen Weight-Space-Programming und so etwas wie Backpropagation? Ich schätze, die KI kann irgendwie tiefer über die Gewichte reasoning betreiben und mehr Parameter berücksichtigen als bei einem einfachen Feedback aus der Backpropagation?