44 % auf ARC-AGI-1 für 67 Cent: Kleines Transformer-Modell schlägt große LLMs
44% on ARC-AGI-1 in 67 cents
Ein kleines Transformer-Modell, das in nur 1,5 Stunden auf einer RTX 5090 von Grund auf trainiert wurde, erreicht 44 % auf dem ARC-AGI-1-Benchmark – und das für gerade einmal 67 Cent Rechenkosten. Damit übertrifft es viele große Sprachmodelle und liegt gleichauf mit teureren Ansätzen wie TRM und HRM. Der Entwickler zeigt, dass Sample-Effizienz der Schlüssel ist, und veröffentlicht Code und Details. Das Modell nutzt moderne Architektur, 3D-RoPE-Einbettungen und ein überwachtes Training, das nur auf Ausgabetokens basiert. Ablationen zeigen, dass gute Repräsentationen entscheidend sind. Der Autor fordert andere Forscher auf, das Open-Source-Modell zu verbessern und die 65-%-Marke anzustreben.
Ich bin mir ziemlich sicher, dass 65 % innerhalb des Transformer-Frameworks erreicht werden können.
- evilmathkid
Hi! Autor hier. Überrascht, das jetzt auf HN zu sehen. Gerne beantworte ich Fragen!
Ein paar Hintergründe dazu:
- Das ist KEIN LLM. Es ist ein kleines AR-Transformer-Modell, das von Grund auf trainiert wurde. Einer der Punkte war, dass extrem komplexe Probleme ohne LLMs gelöst werden können.
- Bis zur v1 dieses Ergebnisses wurde dieser Benchmark nur von LLMs oder deren Finetunes skaliert (natürlich mit enormen Trainingskosten). Andere Versuche waren okay, nutzten aber sehr komplexe Architekturen oder extrem viel Trainingsrechenleistung. Niemand hat erwartet, dass ein einfacher AR-Transformer so gut abschneidet, bei so geringen Kosten und mit so wenigen Trainingsbeispielen.
- Sample-Effizienz ist eines der wichtigsten ungelösten Probleme in der KI heute. Das war mein Ziel mit dieser Arbeit. Wir wissen, dass es einfach ist, die SE durch mehr Rechenleistung/Parameter zu erhöhen, daher war es wichtig, die Kosten so weit wie möglich zu begrenzen (auch deshalb hatte OpenAIs Parameter Golf feste Rechenleistung und warum Modded NanoGPT als sehr sample-effizient gilt).
- Kann die Leistung verbessert werden? Ja, aber der Wettbewerb läuft noch, darüber kann ich nicht sprechen.
- Persönlich denke ich, dass heutige Frontier-Modelle geschlagen werden können, indem man von Grund auf trainiert. Das habe ich aber noch nicht bewiesen.
- Fun Fact: Ich war neu im ML-Bereich, als ich das zum ersten Mal gepostet habe (Dez. '25). Ich habe ARC im Grunde genutzt, um ML zu lernen.
- foota
> Ich stimme zu, dass es selten ist, im echten Leben Problemsets zu sehen, bei denen alle Probleme auf einmal gegeben sind. Selbst wenn es so ist (wie bei einer Prüfung), können Menschen normalerweise nur eines nach dem anderen versuchen.
Nur ein kleiner Ausschnitt, den ich interessant fand. Ich habe mir immer die gesamte Prüfung durchgelesen, bevor ich angefangen habe. Einerseits, um die Probleme zu finden, die mir am zugänglichsten sind, aber auch, weil es mir manchmal hilft, die restlichen Fragen zu lösen :-)
- foota
> Offline-Training/Pre-Training verbieten. Modelle müssen nach der Einreichung von Grund auf trainieren.
Früher galt das als unmögliche Regel. Mein Modell zeigt, dass das möglich ist.
Es garantiert, dass keine synthetischen Daten verwendet werden können.
Es macht den Vergleich zwischen verschiedenen Modellen fair. Andernfalls können einige Modelle wie LLMs ARC durch unfassbare Mengen an Offline-Training maximieren. (Da der Benchmark schon lange existiert, wurden viele ARC-ähnliche Datensätze erstellt.)
Ich bin kein ML-Forscher, also YMMV, aber ... wie könnte ein Modell lernen, diese ARC-AGI-Fragen zu beantworten, ohne vorher trainiert zu werden?
- lackoftactics
Klingt nach einem guten Tag für dich, Top 5 auf Kaggle mit einer solchen Veröffentlichung. Es scheint, als würdest du bald nach SF fliegen.
- bee_rider
Ich denke (?), du hast diese Kritik für halbinformierte Leute wahrscheinlich schon gut erklärt. Aber kannst du es für diejenigen von uns, die fast völlig außen vor sind, noch weiter vereinfachen?
> Training auf den Evaluationsrätseln ist Betrug / "Training auf Test"
> Nein, das ist falsch. "Training auf Test" bedeutet speziell das Training auf den Labels der Testdaten. Die Labels wurden nicht trainiert.
> Außerdem ist ARC ein Metalearning-Benchmark, man soll also aus den Evaluationsrätseln lernen.
> Fachjargon: ARC hat eine Reihe von Trainingsrätseln und eine Reihe von Evaluationsrätseln. Jedes Rätsel hat Beispielpaare und Testpaare. Ein Paar besteht aus einem Eingabegitter + Ausgabegitter.
> Bei ARC ist das Label nur das Ausgabegitter des Testpaars in einem Evaluationsrätsel.
> Diese Labels wurden nicht trainiert. Sie sind verborgen. Du kannst sie vorher löschen, wenn du willst.
Ich denke, was ich hier verstehe, ist, dass der Test mit einem Stapel Trainingsprobleme kommt, bei dem alle zustimmen, dass man darauf trainieren kann. Aber vielleicht kommen die Evaluationsprobleme auch mit Eingabe-/Ausgabebeispielen (um das Problem zu definieren), und das Training darauf ist umstritten? Ich kann nicht sehen, warum das umstritten sein sollte, aber ist das die Kritik?
- xeonax
Noch cooler ist seine Erwähnung auf der About-Seite, dass er sein eigenes Leben gerettet hat https://mvakde.github.io/ > Habe mich in einem medizinischen Notfall gerettet (Ärzte wussten nicht, was Rhabdomyolyse ist)
- rappatic
Ich habe keinen ML-Hintergrund, aber ich habe immer gedacht, dass Sample-Effizienz das große ungelöste Problem der KI ist. Wir Menschen haben eine unglaublich gute Sample-Effizienz; oft können wir etwas dauerhaft aus nur einem oder zwei Beispielen lernen. Das ist der Hauptbereich, in dem LLMs uns weit, weit hinterherhinken.
- kvn95ss
> Außerdem bin ich mir nicht sicher, ob "allgemeines Denken" überhaupt existiert? Vielleicht sind Menschen auch spezialisiert.
Ich habe mich dasselbe gefragt. Wir sind jetzt so vielen Reizen ausgesetzt, dass wir denken, es sei die Norm, ein vernünftiges Verständnis von allem zu haben, es sei denn, Spezialisierung ist gefragt.