GPT-6 Astra übertrifft menschliche Effizienz auf ARC-AGI-3
OpenAI's GPT-6 Astra on ARC-AGI-3
OpenAIs GPT-6 Astra erreicht mit 99,9% einen neuen Spitzenwert auf dem ARC-AGI-3-Benchmark, der agentische Intelligenz in unbekannten Umgebungen testet. Bemerkenswert ist, dass Astra auf 96% der Level weniger Aktionen benötigt als der menschliche Median und dabei eigene kompakte symbolische Notationen entwickelt. ARC Prize betont, dass dies ein bedeutender Fortschritt, aber kein Beweis für AGI ist.
Astra benötigte auf 96,0% der Level weniger Aktionen als die menschliche Baseline und durchschnittlich 51,7% weniger Aktionen pro Level – ein materieller Meilenstein.
- at1as
Ich mag Erdos-Probleme als Benchmark. Modelle lösen weiterhin einige, aber die Quote ist inzwischen recht lahm, da die tief hängenden Früchte bereits gepflückt wurden.
Von https://epoch.ai/latest/announcing-frontiermath-erdos
> Nur GPT-6 Astra hat etwas gelöst: 2 der 68 Probleme. Es widerlegte Problem 74, indem es ein Gegenbeispiel fand, zu Kosten von 218 $ und 15 Stunden Arbeitszeit, und es bewies Problem 126, zu Kosten von 247 $ und 16 Stunden.
> Über alle Versuche hinweg löste GPT-6 Astra mindestens einmal 5 der 68 Probleme: die beiden oben genannten, plus Problem 1, das es widerlegte, und die Probleme 548 und 571, die es bewies. Die meisten der übrigen Probleme wurden insgesamt zwischen zwei und fünf Mal versucht (172 Versuche), und keines wurde gelöst. Das Erreichen dieser fünf Lösungen verbrauchte über alle Versuche hinweg mehr als 220.000 $ an Rechenleistung, verglichen mit etwa 20.000 $ für den Benchmark-Lauf selbst.
Das deutet auf eine echte Verbesserung der Fähigkeiten hin, aber es gibt immer noch einen sehr langen Ausläufer, den die Modelle weiterhin bewältigen müssen, um ihn zu erfassen.
- malfist
Definiert es wirklich Intelligenz, ein schlangenähnliches Puzzlespiel mit der geringsten Anzahl von Zügen zu lösen?
- Betelbuddy
„Für einen Kostenvergleich: Bei unseren kontrollierten Tests wurden menschliche Teilnehmer mit 115 $ pro 90-minütiger Sitzung bezahlt, plus 5 $ pro abgeschlossenem Spiel. Die Teilnehmer versuchten etwa neun Spiele pro Sitzung, also etwa 12,78 $ pro versuchtem Spiel vor Boni.
Der größte Teil dieser Gebühr bezahlt die Zeit des Teilnehmers und seine Bereitschaft, an dem Test teilzunehmen, und nicht die Energie, die sein Gehirn verbraucht (ein besserer Vergleich mit KI). Wenn wir nur die Energie des Gehirns betrachten und sie als Strom bepreisen, sinkt die Schätzung auf etwa 0,6 Cent pro Sitzung oder 0,067 Cent pro versuchtem Spiel."
Also, ich weiß nicht, wie es euch geht, aber ich feiere die fleischbasierten Menschen ...
- modeless
360 $ pro Puzzle. Als sie Menschen testeten, dauerte es etwa 10 Minuten pro Puzzle. Wenn das Preis-Leistungs-Verhältnis weiterhin im gleichen Tempo fällt wie bisher, wird dies innerhalb von zwei Jahren weniger kosten als US-amerikanische Mindestlohn-Arbeiter. Drei für den philippinischen Mindestlohn.
- an0malous
Konnte OpenAI die ARC-AGI-3-Tests zuvor ausführen, um eine maßgeschneiderte Testumgebung für die spezifischen Tests im Satz zu erstellen? Selbst mit der Standard-Testumgebung hätten sie, wenn sie die Probleme im Voraus gekannt hätten, überwachtes Reinforcement Learning verwenden können, um dem Modell beizubringen, diese spezifischen Tests zu lösen.
- fastball
Sind wir sicher, dass ein Astra-Hackerschwarm nicht die Server von arcprize.org kompromittiert und den privaten Bewertungssatz exfiltriert hat, um diese 99% zu erreichen?
- dwohnitmok
> Astras Fortschritt hilft zu klären, welche KI-Fähigkeiten außer Reichweite sind und welche Fragen offen bleiben.
Okay. Aber ich glaube, dieser Artikel hat überhaupt nicht erklärt, welche KI-Fähigkeiten außer Reichweite bleiben. Habe ich etwas verpasst? Außer „Oh, ich schätze, es könnte auf ARC-AGI-3 noch übermenschlicher werden, als es bereits ist"?
- 6thbit
Der sofortige/ohne Nachdenken-Modus schnitt sehr gut ab
keine 35,2 %, 49.791 $ 96,7 %, 23.457 $
35,2 % bei der Standard-Testumgebung, das ist über Opus 5 bei hoch.