Energy-Based Reasoners lösen Sudoku-Extreme mit 345-mal weniger Rechenaufwand
Energy-Based Reasoners: 385x more efficient inference

Forschende von Duke, UIUC und Harvard stellen Energy-Based Reasoners (EBRs) vor: rekurrente Modelle, die eine Energiefunktion über latente Denkzustände lernen und ihre Schleifen als Gradientenabstieg formulieren. Mit nur 1,8 Millionen Parametern erreichen sie 99,9 % Genauigkeit bei Sudoku-Extreme – bei 345-mal geringerem Inferenzaufwand als das nächstbeste Modell. Auf N-Queens und Graph Coloring liefern sie nahezu perfekte Einzelsample-Genauigkeit und decken zudem die meisten gültigen Lösungen ab.
Die Energie bewertet den latenten Zustand, ihr Gradient lenkt die Verfeinerung und liefert zugleich ein Signal zum Anhalten.
- Topfi
Ich empfehle, sich Logical Intelligence anzusehen, das unter anderem von Yann LeCun geleitet wird, um mehr Kontext zu EBMs zu bekommen [0]. Das hat großes Potenzial in Bereichen, in denen LLMs traditionell nicht so gut abschneiden, und weil sie die Vorteile von EBMs zeigen wollen, sind sie auch eine großartige Quelle für Beispiele, mit denen LLMs Schwierigkeiten haben, wie Mathematik auf Grundschulniveau und Zählen (während sie ironischerweise Lean-Beweise auf Millennium-Niveau liefern). Das eröffnet natürlich die nicht unvernünftige Diskussion, ob es eine Rolle spielt, wenn LLMs genau zählen können, wenn das Schreiben von Code für die Berechnung zuverlässig und schnell ist...
[0] https://logicalintelligence.com/blog/energy-based-model-sudo...
- program_whiz
Eine klärende Art, darüber für Sudoku nachzudenken:
Für jeden Hinweis setze die Wahrscheinlichkeit, seine Zahl in der Zeile/Spalte zu ziehen, auf null. Setze auch die Wahrscheinlichkeit, eine "Hinweis-Zelle" zur Modifikation auszuwählen, auf 0.
Wähle eine zufällige Zelle zur Modifikation, basierend auf ihrer "Energie" (höhere Energie wird zuerst modifiziert):
1. Jede konfliktbehaftete Zelle bekommt Energie +1,0 (versuche Konflikte vor neuen leeren Zellen zu lösen). Z. B. bekommen zwei 7en in derselben Zeile beide +1 Energie.
2. Leere Zellen haben kleine Energie 0,1
3. Gefüllte Zellen ohne Konflikte haben Energie 0
Für die ausgewählte Zelle wähle eine Ziffer. Betrachte die Zahlen in ihrer Zeile/Spalte, jedes Vorkommen einer Zahl in der Zeile/Spalte senkt die Wahrscheinlichkeit, sie zu ziehen, um 90 %. Beispiel:
| Anzahl der 7en | Chance auf 7 |
| --- | --- |
| 0 | 10 % (gleich wie andere Ziffern) |
| 1 | 1 % |
| 2 | 0,1 % |
Offensichtlich würde das mit mehr Zahlen in der Linie komplexer werden (dies prüft nur 7 in einer ansonsten leeren Linie).
Das ist im Wesentlichen, was diese Modelle tun. Es bietet eine Art "Wellenfunktionskollaps"-Suche mit zufälliger Erkundung basierend auf "Energie", aber Energie ist einfach als Konflikt / ungelöst definiert. Bei etwas wie einem Labyrinth ist Energie beispielsweise getrennte Pfadsegmente oder Wände usw.
- mocmoc
Ich habe ein Jahr damit verbracht. EBMs sind, wie soll ich sagen, sie sind beeindruckende Validatoren, es ist wahnsinnig schwer, sie zu trainieren. Sie sind sehr nischenspezifisch. Während LLMs, die nicht immer richtig liegen und ungeschickt sind und so weiter, den Leuten helfen, die Arbeit am Ende erledigt zu bekommen.
EBM-Sudoku ist in kleinem Maßstab nicht so schwer, und der Sudoku-Löser von Logical Intelligence skaliert nicht; wenn ich falsch liege, möchte ich sie ein so großes Sudoku anbieten sehen, wie du willst.
Außerdem, nach Monaten und Monaten des Trainings von EBMs kommt man zu der Erkenntnis ... ist es das wirklich wert?
- xgk
Das Paper scheint nicht zu definieren, was "Energy-Based" bedeutet. Das Paper sagt: "EBMs lernen eine skalare Funktion, die einer Kandidatenvorhersage gegeben eine Eingabe eine Energie zuweist." Welchen Wertebereich haben diese gelernten skalaren Funktionen? Ich schätze reelle Zahlen? Aber ist "Energie" nur ein Synonym für die reellen Zahlen?
- igleria
Soweit ich verstehen konnte, funktioniert das sehr gut für eine sehr spezifische Art von Logikrätsel-Aufgabensammlung. Bin aber auf zukünftige Paper gespannt :)