Claude Opus 5.5 führt den neuen Intelligence Index v5 an – doch die offenen Modelle fallen deutlich zurück
Artificial Analysis Intelligence Index v5
Artificial Analysis hat den Intelligence Index v5 veröffentlicht, die größte Überarbeitung seit Januar: 60 Prozent der Bewertung stützen sich nun auf private Datensätze. Claude Opus 5.5 (max) liegt mit 58 Punkten vorn, vor GPT-6 Astra (max, 57) und GPT-6.1 Sol (max, 55). Der Abstand zu offenen Modellen wächst von 3 auf 12 Punkte. Zudem variieren die Kosten pro Aufgabe unter den Spitzenmodellen um mehr als das 13-Fache.
GPT-6.1 Sol (max) erreicht mit etwa einem Achtel der Kosten pro Aufgabe ein Ergebnis, das nur 4 Punkte unter dem von Claude Opus 5.5 (max) liegt.
- peri-cl
Der Artikel verschweigt, dass sie still und leise mehrere Open-Weight-Modelle aus dem neuen Benchmark entfernt haben. Populäre Modelle. Sie sind nicht in den Charts; sie lassen sich nicht manuell zu den Charts hinzufügen; und ihre individuellen Modellseiten zeigen jetzt Scores von „N/A“.
GLM 5.3-flash: N/A
https://artificialanalysis.ai/models/glm-5-3-flash/
Qwen 3.8-flash-next: N/A
- simonjgreen
Das ist vielleicht das erste Mal, dass ich einen Beitrag favorisiert habe, ohne ihn hochzuvoten.
Das ist wirklich suspekt. Ich hätte gerne eine ausführlichere Erklärung und „Meinung“ von AA dazu, welches Problem sie meinten korrigieren zu müssen und warum sich die Dinge so verschoben haben. Und wie sie behaupten können, dass ihr Index relevant ist, wenn Positionen so einfach ausgetauscht werden können.
- kamov
Die Auswahl der natürlichen Sprachen im mehrsprachigen Index erscheint mir ziemlich seltsam und voreingenommen. Sie haben versucht, eine breite Palette asiatischer Sprachen abzudecken, aber dann gibt es da etwa vier europäische romanische Sprachen. Sie haben keine slawische Sprache aufgenommen, z. B. Russisch, oder eine nordische wie Schwedisch, oder finno-ugrische. Und diese romanischen Sprachen sind in den Trainingsdaten wahrscheinlich ohnehin überrepräsentiert.
- chvid
„Der FrontierCode-Verifier bewertet jeden Versuch mit den Tests und der Rubrik der Aufgabe. Wir verwenden GPT-6 Luna (medium) als LLM-Richter“
Warum verwenden sie ein Closed-Source-LLM als Richter? Closed-Source-Anbieter können deinen Traffic sehen und ihn nach Belieben anpassen.
- lousken
Es ist peinlich, wie sehr sie sich bei amerikanischen Labors einschleimen, während diese Modelle nur die ersten paar Tage nach der Veröffentlichung gut abschneiden. Bei Open Weights kann man sicher sein, dass die Qualität gleich bleibt, anders als bei dem Closed-Source-Mist. Wie wäre es mit einem erneuten Test nach einiger Zeit?