OpenAIs neueste Modelle scheitern an SimpleBench – und unterbieten damit sogar den Menschen

Astra 6.2 and Sol 6.2 flop at Simple Bench

Im SimpleBench, einem Multiple-Choice-Test mit über 200 Fragen zu räumlich-zeitlichem Denken, sozialer Intelligenz und Trickfragen, liegen GPT-6.2 Astra und GPT-6.2 Sol deutlich unter der menschlichen Basislinie von 83,7 Prozent – mit 77,3 und 69,9 Prozent. Beide landen damit weit abgeschlagen auf den Plätzen 17 und 30, während Anthropics Claude Fable 5.2 mit 94,9 Prozent die Spitze hält. Das Ergebnis zeigt: Memorisiertes Wissen und ungefähres Schlussfolgern reichen für einfache Alltagsfragen noch nicht aus.

Die Ergebnisse von SimpleBench bestätigen, dass das memorierte Wissen und die ungefähre Reasoning-Retrieval, auf die Frontier-LLMs setzen, noch nicht immer ausreichen, um einfache Fragen zu beantworten.
  1. 0xbadc0de5

    Nachdem ich in den letzten Tagen sowohl Sol-6.2 als auch Astra-6.2 intensiv genutzt habe (und regelmäßig auch Claude Opus und Fable verwende), sind sie deutliche Verbesserungen gegenüber den vorherigen Releases und vergleichbar mit Opus-5.5 und Fable-5.2.

    Ich habe aufgehört, diesen Influencer-Benchmaxxern zu vertrauen, weil sie im Allgemeinen keinen der Workflows ausführen, die für mich interessant sind – das ist völlig synthetisch. Der einzige Benchmark, der zählt, ist, wie gut ein Modell für den aktuellen Anwendungsfall funktioniert.

  2. nsingh2

    Die 6.2-Modelle sind relativ sorgfältig und gründlich. Hervorragende Code-Reviewer oder in Mathematik.

    Allerdings scheinen sie relativ schlechter darin zu sein, Absichten abzuleiten oder mit vagen und unterspezifizierten Aufgaben so umzugehen, wie ein Mensch es vernünftig finden würde. Ich habe gesehen, wie manche sie scherzhaft als „autistisch“ bezeichnen.

    Alle GPT-Modelle ab GPT-5 scheinen diesen Stil zu haben, manche schlimmer als andere.

  3. fullstackwife

    Ich habe eine Idee für einen Benchmark: Trainiere ein Modell mit einem Wissens-Cutoff, sagen wir 1945, und simuliere die Weltentwicklung für die nächsten 70 Jahre. Dann schau, ob es Dinge erfindet, die Menschen erfunden haben, und ob es auch unsere Fehler und Sackgassen vermeidet.

  4. ricardobeat

    Neon / Carbon / Argon / Hydrogen liegen alle im selben Bereich – warum haben sie überhaupt vier verschiedene Modelle veröffentlicht?

    Neon scheint beim Coden nicht besonders stark im Vergleich zu Argon zu sein, und Opus 5.5 schlägt in meiner Erfahrung immer noch beide. Die Neuronen, die es verloren hat und die es inkompetent in Englisch machten, scheinen voll und ganz darauf ausgerichtet worden zu sein, ein Freak im Engineering zu sein.

  5. algoth1

    Phillip hat das Leaderboard aktualisiert, und überraschenderweise wurde jedes neue Modell-Release deutlich besser – außer den OpenAI-Modellen. 6.2 Sol ist 30., während 6.1 Sol den 10. Platz belegt. Astra 6 ist 9., Astra 6.2 ist 15. Im Vergleich dazu wurde Fable 5.2 die Nummer 1 und Fable 5.1 ist 7. Alle neuen Google-Modelle, sogar Hydrogen, liegen über der menschlichen Baseline. Dagegen ist Astra 6 pro das einzige OpenAI-Modell, das mit Platz 8 leicht über der menschlichen Baseline liegt.

  6. martinjc

    Nach meiner Erfahrung finde ich, dass es Anweisungen zu gut befolgt. Graubereiche werden komplett weggeschnitten, und sicher ist das manchmal gut. Aber für meinen Anwendungsfall mochte ich es, wenn sich die Antwort klug anfühlte und bereit war, Fragen zu stellen.

  7. davidmurdoch

    Ich habe festgestellt, dass 6.2 Sol sich nicht wie ein Architekt verhält und seine Anweisungen oder den bestehenden Code überhaupt nicht in Frage stellt. Es ist wieder zurück zu Antworten wie „du hast recht, dich zu wehren“, wenn man seine Pläne oder seine Argumentation auch nur im Geringsten hinterfragt.

  8. hoppp

    Alle neuen Gemini-Modelle schneiden dabei besser ab als Opus 5.5.

    Ist das etwas, das man im echten Leben bemerken kann?

    Ich mag Opus 5.5 wirklich sehr, es ist perfekt, und ich habe die neuen Gemini-Modelle noch nicht ausprobiert.

Mehr von diesem Tag

2026-11-21