44 % auf ARC-AGI-1 für 67 Cent: Kleines Transformer-Modell schlägt große LLMs
44% on ARC-AGI-1 in 67 cents
Ein kleines Transformer-Modell, das in nur 1,5 Stunden auf einer RTX 5090 von Grund auf trainiert wurde, erreicht 44 % auf dem ARC-AGI-1-Benchmark – und das für gerade einmal 67 Cent Rechenkosten. Damit übertrifft es viele große Sprachmodelle und liegt gleichauf mit teureren Ansätzen wie TRM und HRM. Der Entwickler zeigt, dass Sample-Effizienz der Schlüssel ist, und veröffentlicht Code und Details. Das Modell nutzt moderne Architektur, 3D-RoPE-Einbettungen und ein überwachtes Training, das nur auf Ausgabetokens basiert. Ablationen zeigen, dass gute Repräsentationen entscheidend sind. Der Autor fordert andere Forscher auf, das Open-Source-Modell zu verbessern und die 65-%-Marke anzustreben.
Ich bin mir ziemlich sicher, dass 65 % innerhalb des Transformer-Frameworks erreicht werden können.
- evilmathkid
Hallo! Autor hier. Überrascht, das jetzt auf HN zu sehen. Gerne beantworte ich Fragen!
Ein paar Hintergründe dazu:
- Das ist KEIN LLM. Es ist ein kleines AR-Transformer-Modell, das von Grund auf trainiert wurde. Einer der Punkte war, dass extrem komplexe Probleme ohne LLMs gelöst werden können.
- Bis zur v1 dieses Ergebnisses wurde dieser Benchmark nur von LLMs oder deren Feintunings skaliert (natürlich mit enormen Trainingskosten). Andere Versuche waren okay, nutzten aber sehr komplexe Architekturen oder extrem hohe Trainingsrechenleistung. Niemand erwartete, dass ein einfacher AR-Transformer so gut abschneidet, zu so geringen Kosten und mit so wenigen Trainingsbeispielen.
- Sample-Effizienz ist eines der wichtigsten ungelösten Probleme in der KI heute. Das war mein Ziel mit dieser Arbeit. Wir wissen, dass es einfach ist, die SE zu erhöhen, indem man Rechenleistung/Parameter erhöht, daher war es wichtig, die Kosten so weit wie möglich zu begrenzen (auch deshalb hatte OpenAIs Parameter Golf feste Rechenleistung und warum Modded NanoGPT als sehr sample-effizient gilt).
- Kann die Leistung verbessert werden? Ja, aber der Wettbewerb läuft noch, daher kann ich nicht darüber sprechen.
- Persönlich denke ich, dass heutige Frontier-Modelle geschlagen werden können, indem man von Grund auf trainiert. Das habe ich aber noch nicht bewiesen.
- Lustig: Ich war neu im ML, als ich das zum ersten Mal gepostet habe (Dez. '25). Ich habe ARC im Grunde genutzt, um ML zu lernen.
- lackoftactics
Klingt nach einem guten Tag für dich, Top 5 auf Kaggle mit so einer Veröffentlichung. Es scheint, als würdest du bald nach SF fliegen.
- bee_rider
Ich denke(?), du hast diese Kritik für halbinformierte Leute wahrscheinlich schon gut erklärt. Aber kannst du es für diejenigen unter uns noch einfacher machen, die fast völlig außen vor sind?
> Training auf den Evaluationspuzzles ist Betrug / "Training auf Testdaten"
> Nein, das ist falsch. "Training auf Testdaten" bedeutet speziell das Training auf den Labels der Testdaten. Die Labels wurden nicht trainiert.
> Außerdem ist ARC ein Metalearning-Benchmark, also soll man aus den Evaluationspuzzles lernen.
> Fachjargon: ARC hat einen Satz Trainingspuzzles und einen Satz Evaluationspuzzles. Jedes Puzzle hat Beispielpaare und Testpaare. Ein Paar besteht aus einem Eingabegitter + Ausgabegitter.
> Bei ARC ist das Label nur das Ausgabegitter des Testpaars in einem Evaluationspuzzle.
> Diese Labels wurden nicht trainiert. Sie sind verborgen. Du kannst sie vorher löschen, wenn du willst.
Ich denke, was ich hier verstehe, ist, dass der Test mit einem Stapel Trainingsprobleme kommt, bei dem alle sich einig sind, dass man darauf trainieren kann. Aber vielleicht kommen die Evaluationsprobleme auch mit Eingabe-/Ausgabebeispielen (um das Problem zu definieren) und das Training darauf ist umstritten? Ich kann nicht sehen, warum es umstritten sein sollte, aber ist das die Kritik?
- xeonax
Noch cooler ist seine Über-mich-Erwähnung, dass er sich selbst das Leben gerettet hat https://mvakde.github.io/ > Habe mich selbst in einem medizinischen Notfall gerettet (Ärzte wussten nicht, was Rhabdomyolyse ist)
- dhruv3006
> Der erwähnte Ansatz ist grundlegend fehlerhaft, da die Eingaben während des Pre-Trainings verwendet werden, was eine allgemein anerkannte Schwäche des ML-Trainings darstellt.
Ich habe das in der Community-Notiz zu deinem letzten Blogbeitrag gesehen – hat das etwas damit zu tun?