Minecraft nachbauen ist kein Benchmark
Recreating Minecraft Is Not a Benchmark
Nach jedem großen KI-Release füllen sich die Feeds mit denselben Demo-Aufgaben: Minecraft in einem Prompt nachbauen, ein Pelikan auf einem Fahrrad als SVG, ein springender Ball in einer rotierenden Box. Der Autor nennt diese Aufgaben "Demo-Benchmarks" – visuell beeindruckend, aber endlich und damit leicht zu optimieren. Er argumentiert, dass solche festen, öffentlichen Tests eher Vorbereitung als echte Fähigkeit messen und verweist auf Fälle wie Inkling Small, das trotz kleinerer Parameter auf bekannten Benchmarks mithält. Als Alternative schlägt er rotierende oder private Testfragen vor, räumt aber ein, dass Demos für die öffentliche Wahrnehmung unverzichtbar bleiben.
Ein Test, den man planmäßig perfektionieren kann, misst Vorbereitung statt Fähigkeit – für mich ist das das Gegenteil einer Benchmark.
- bluegatty
Richtige Antwort, falsche These.
Das Beispiel, dass 'Labore genau darauf optimieren', ist die falsche These.
Es ist nicht so schwer, dass KI willkürlich etwas von 'scheinbarer Raffinesse' erzeugt – das Problem ist, es nach Spezifikation zu produzieren, die unvermeidlich vage Elemente enthält – und es dann rational modifizieren zu können.
Schau dir die Bildgenerierung an: Du drückst den Zauberknopf und bekommst einen 'Pelikan auf einem Fahrrad' – aber du kannst nicht einfach den 'Hut' des Pelikans ändern. Du musst den Zauberknopf erneut drücken, und du bekommst einen ganz anderen Pelikan auf einem Fahrrad.
Das ist die grundlegende Einbildung.
Es ist ähnlich wie die Einbildung, dass 'das Schreiben des Codes die Arbeit ist' – aber das ist es nicht – es ist die Recherche, das Design, die Dokumentation, die Integration und all dieses 'Know-how', das 'irgendwo sitzen' muss, damit die Form des ausgegebenen Objekts angepasst und geformt werden kann.
Willkürliche Codeausgabe ist nicht ganz wertlos, aber fast; es ist das '80%, das weitere 80% bedeutet und dann nochmal 80%'. Es ist wie ein schönerer Ausgangspunkt.
Die Recherchefähigkeiten der KI, die keine schönen Demos abgeben, sind wohl mächtiger.
- 0xb0565e486
Ich sehe ständig, wie Astra wunderschöne 3D-Sachen online erstellt, aber wenn ich ihm einige Oldschool-RuneScape-Assets füttere (selbst mit sehr detaillierten Richtlinien versucht) und es bitte, einige neue plausible Assets zu generieren, scheitert es kläglich.
Ich denke, es gibt immer noch etwas wirklich Falsches an aktuellen (Frontier-)Modellen, wenn es darum geht, 'neuartige' Dinge zu erschaffen? Sogar Grafiken im Stil von 2004.
Oder fordere ich es falsch auf?
- orbital-decay
Das klingt nicht überzeugend, weil a) der Pelikan-Test subjektiv ist, es gibt einfach nichts zu leaken, da es keine verfügbaren direkten Antworten gibt und vielleicht ein extrem schwaches Präferenzsignal, und b) dieselben kleinen Modelle tatsächlich gut abschneiden, wenn man das Thema wechselt. Einige Modelle sind wirklich darauf trainiert, in bestimmten Bereichen besser zu sein, wie 2D-Layouts oder Vektorgrafiken in diesem Fall. Es hängt alles von bestimmten Rezepten und Datensätzen ab. Das ist der eigentliche Grund, warum diese Tests als Stimmungschecks schlecht sind: Sie tun nichts, um Generalisierung, Memorierung und Trainingspräferenz zu entwirren. Insbesondere das einmalige Erstellen beliebter Software ist definitiv kein guter Test für irgendetwas, da die Memorierung dominieren wird.
AAII ist auch nicht sehr nützlich, ebenso wenig wie irgendein generischer Score/Benchmark. Wenn du eine Wettervorhersage willst, schaust du nicht auf die Durchschnittstemperatur der Erde.
(Übrigens, wann wurde der Begriff 'one-shot' gekapert, um etwas anderes zu bedeuten als 'ein Beispiel'?..)
- hombre_fatal
> Das ist das Problem, diese Tests können dir nicht mehr sagen, wie gut ein Modell ist, weil es für Labore trivial ist, genau auf diese Tests bei der nächsten Veröffentlichung zu optimieren.
Aber sie beweisen die Behauptung nicht. Sind die Modelle erstaunlich gut darin, Minecraft nachzubauen, aber sobald du das Wort Minecraft durch ein anderes Spiel oder ein individuelles Spiel ersetzt, versagen sie kläglich?
Das ist nicht, was ich sehe. Mein Feed ist voll von Leuten, die Astra nutzen, um alle möglichen Spiele nachzubauen, von Diablo bis zu einer zufälligen Idee, die sie hatten, in lächerlich poliertem Detail mit Animationen, die mich Wochen der Iteration in gpt-5.6-sol gekostet hätten, aber es war ein einziger Schuss von Astra.
- mrkramer
>GPT-6-Astra-Max
'Generiere ein SVG eines PlayStation-4-Controllers so schön wie möglich'
Benötigte Zeit: 11m 54s
Es wurde kein Bild verwendet
Ich hatte 10s erwartet, nicht 12m; wenn es 12m dauert, würde ich es lieber selbst versuchen. Und was bedeutet 'Es wurde kein Bild verwendet', wurde es nicht mit einem Haufen Bildern trainiert, einschließlich wahrscheinlich Konsolen-Controller-Bildern?