Artificial Analysis v5: Wer einen einzigen KI-Score bestimmt, entscheidet über ein Billionen-Dollar-Rennen
Artificial Analysis v5 and the benchmarker's dilemma
Der neue Intelligence Index v5 von Artificial Analysis gewichtet Knowledge Work, Coding, Science und General zu je 25 Prozent und lässt acht geschlossene Modelle vor dem besten offenen Modell Kimi K3.1 Pro liegen. Der Autor hält die Richtungsentscheidung für vertretbar, warnt aber: Wer den Frontier misst, vergrößert die Lücke zu offenen Modellen und übersieht womöglich den eigentlichen wirtschaftlichen Motor der Branche. Zudem kritisiert er den Wechsel zu privaten Benchmarks, weil damit die Community keine Fehler mehr finden kann.
Mit der Menge an Geld, die heute im KI-Ökosystem steckt, wiegt unabhängige Evaluation noch schwerer – du bestimmst die Gewinner und Verlierer eines Billionen-Dollar-Markts.
- lordofgibbons
Ich wünschte, AA würde die Modelle mit den Reasoning-Efforts benchmarken, die die Leute tatsächlich verwenden. Zum Beispiel ist es sehr selten, dass Leute, die ich kenne, die „max“-Reasoning-Einstellung nutzen – besonders weil Claude Code selbst einen davon abschreckt, sie zu verwenden. Aber all diese Coding-Benchmarks basieren genau auf dieser Reasoning-Effort.
Ich verstehe ja, sie können nur bis zu einem gewissen Punkt benchmarken. Aber ich hätte lieber einen Benchmark dafür, wie das Modell tatsächlich genutzt und Kunden angeboten wird, statt des Best-Case-Szenarios dafür.
- 6thbit
Ich glaube, wir sollten AA-Ergebnisse einfach als einen Datenpunkt behandeln und nicht als die übergeordnete „Autorität“, die sie vielleicht sein wollen.
Wenn wir Zugang zu neutralen Roh-Benchmark-Daten in einer nützlichen Form hätten, um Äpfel mit Äpfeln zu vergleichen, dann könnte jeder von uns seinen eigenen „Index“ definieren, um die Perspektive zu bekommen, die er nützlich findet.
Der Versuch, „Intelligenz“ durch einen einzigen Index zu definieren oder zu vergleichen, wird immer danebenliegen.
- matesz
„Der letzte Punkt, den ich ansprechen muss und der den geschlossenen Labors schmeichelt, ist, dass sich Größen wie Anthropic und OpenAI schon vor Monaten oder sogar Jahren davon verabschiedet haben, sich um diese Indizes zu kümmern. Ihr Fokus liegt zu einem großen Teil auf der Unterstützung interner Anwendungen – wie KI-F&E-Automatisierung – und auf den Anwendungsfällen von Kunden, die Milliarden von Dollar ausgeben.“
Ist das wahr? Wenn ja, ergibt das sehr viel Sinn. Immer wieder bin ich enttäuscht, wenn ich ein neu veröffentlichtes Open-Weights-Modell ausprobiere. Sogar einige ältere Claude-Modelle schlagen sie in der Qualität der Antworten, obwohl sie in Benchmarks weniger Intelligenz erzielen.
- chvid
Wie verdient AA Geld? Wer sind ihre Investoren?
- anon373839
AA hat seine Methodik innerhalb weniger Wochen zweimal dramatisch geändert. Ich sehe den Nutzen ihres zusammengesetzten Scorings wirklich nicht mehr – es ist im Grunde das US News College-Ranking der LLMs.
Vorerst scheint LiveBench ein besser kalibriertes Signal zu liefern.