Claude Fable 5.2 erreicht 65 Punkte im Artificial Analysis Index – Bestwert aller Zeiten
Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far
Claude Fable 5.2 (max) erzielt im Artificial Analysis Intelligence Index v5.0.1 einen Wert von 65 – der höchste bislang gemessene Wert. Der Index bündelt neun Benchmarks, darunter Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience v1.1 und HLE-Diamond. Die Analyse vergleicht zudem Kosten pro Aufgabe, Token-Verbrauch, Kontextfenster und Cache-Preise. Auffällig: Für das Modell ist keine öffentlich zugängliche API verfügbar.
Der AA-Omniscience v1.1 Net Score belohnt richtige Antworten, bestraft Halluzinationen und zieht keine Strafe für die Verweigerung einer Antwort ab.
- rgbrenner
Vergiss die Scores ... schau dir die Kosten pro Aufgabe an. Fable 5.1 war schon mit großem Abstand das teuerste, und jetzt verdoppelt Fable 5.2 das noch! Und das trotz der Preissenkung.
Die Output-Tokens pro Aufgabe sind geradezu explodiert. Von 118k Tokens (46k Antwort/71k Reasoning) in 5.1 auf 274k Tokens (81k Antwort/192k Reasoning) in 5.2.
- oliwary
Cool! Es sieht so aus, als ob Fable 5.2 (besonders low und medium) auch auf der Pareto-Front zwischen Zeit pro Aufgabe und Intelligenz liegt: https://artificialanalysis.ai/models?speed=output-speed-over...
Ich interessiere mich immer für diesen Vergleich, weil er zeigt, wie schnell man mit einem Modell hin und her wechseln kann, und dabei sowohl Tokens/Aufgabe als auch Tokens/Sekunde erfasst. Die neuen Modelle scheinen hier deutlich besser zu sein.
- brachkow
Es ist verrückt, wie teuer Anthropics Modell im Vergleich zu dem ziemlich fähigen DeepSeek-Flash ist.
Obwohl sie zweifellos die besten Modelle gemacht haben, ist ihr 100-facher Preis für ein paar Prozent mehr Leistung völlig aus der Luft gegriffen, und ich denke, das wird für sie schlecht enden.
- schnitzelstoat
Das scheint eine wahnsinnige Kostensteigerung für einen bescheidenen Intelligenzzuwachs zu sein.
Aber vielleicht wird die Leistung bei realen Aufgaben auffälliger sein als in Benchmarks.
- djacksondev
Für mich war Fables Rolle immer die eines Planers oder Plan-Reviewers, weniger etwas, das Einzelpersonen oder Organisationen als primären Treiber nutzen würden. In diesem Fall denke ich, dass diese Verbesserungen den Preis wert erscheinen? Idealerweise will man in dieser Rolle das leistungsfähigste Modell.
Ich bin mir nicht sicher, ob der aktuelle Anstieg bedeutet, dass es auch in dieser Form kostprohibitiv ist, es zu nutzen.
- t0md4n
8 Punkte höher als Astra für das 4,2-fache an Kosten und 5-fache an Output-Tokens. Ist es das wert?
Edit: high scheint besser als max zu sein
- gizmodo59
https://artificialanalysis.ai/#intelligence-efficiency-tabs das ist der Chart, der für die meisten armen Entwickler und Unternehmen zählt. Pareto für einen gegebenen Intelligenzindex, und es sieht so aus, als ob nur OpenAI über den ganzen Quadranten vertreten ist, mit Muse ganz unten. Die haben wirklich effiziente Modelle gekocht!
- GMoromisato
Anekdotisch, aber ich lasse das Modell ein Podcast-Skript von zwei Rezensenten schreiben, die über ein Buch sprechen, Kapitel für Kapitel.
Fable (5.1 und 5.2) schreibt konsequent ein viel kürzeres Skript (2,5 Seiten) im Vergleich zu Opus 5.5 (4,5 Seiten).
Fable 5.2: https://claude.ai/share/274a96a8-c8a5-4564-9ca1-e914edffc722
Opus 5.5: https://claude.ai/share/da8ab6bd-0987-47dc-9c26-68ebbfb25781