Artificial Analysis v5 decide qué modelos ganan en un mercado de un billón de dólares
Artificial Analysis v5 and the benchmarker's dilemma
El nuevo Intelligence Index v5 de Artificial Analysis reparte el peso en cuatro áreas —trabajo de conocimiento, código, ciencia y general— y coloca a ocho modelos cerrados por delante del mejor open-weight, Kimi K3.1 Pro. El autor defiende el giro hacia benchmarks privados, pero advierte que concentrar tanto poder de evaluación en una sola métrica moldea qué modelos progresan y quiénes ganan en la industria.
Con la cantidad de dinero que hay hoy en el ecosistema de la IA, el peso de la evaluación independiente es aún mayor: tú dictas los ganadores y perdedores de un mercado de un billón de dólares.
- lordofgibbons
Ojalá AA evaluara los modelos con los niveles de esfuerzo de razonamiento que la gente realmente usa. Por ejemplo, es muy raro que la gente que conozco use el ajuste de razonamiento "max", sobre todo porque Claude Code mismo te disuade de usarlo. Pero todos estos benchmarks de programación se basan justo en ese nivel de esfuerzo de razonamiento.
Entiendo que solo pueden evaluar hasta cierto punto. Pero preferiría un benchmark de cómo se usa realmente el modelo y se ofrece a los clientes, en lugar del mejor escenario posible para él.
- matesz
"El último punto que necesito mencionar, que de hecho favorece a los laboratorios cerrados, es que tipos como Anthropic y OpenAI dejaron de preocuparse por estos índices hace meses, o incluso años. Su enfoque está mayoritariamente en apoyar usos internos —como la automatización de I+D de IA— y los casos de uso de clientes que gastan miles de millones de dólares".
¿Es cierto? Si lo es, tiene mucho sentido. Una y otra vez, cuando pruebo algún modelo de pesos abiertos recién lanzado, me decepciono. Incluso algunos modelos Claude más antiguos les ganan en calidad de respuestas, aunque puntúen menos en inteligencia en los benchmarks.
- 6thbit
Creo que deberíamos tratar los resultados de AA como un simple dato y no como la 'autoridad' general que quizá pretenden ser.
Si tuviéramos acceso a datos de benchmarks crudos y neutrales de una forma útil para comparar peras con peras, entonces cada uno podría definir su propio 'índice' para obtener la perspectiva que le resulte útil.
Intentar definir o comparar la 'inteligencia' mediante un único índice siempre va a estar desviado.
- anon373839
AA ha alterado drásticamente su metodología dos veces en solo unas semanas. Realmente ya no veo la utilidad de su puntuación compuesta: básicamente son el ranking de universidades de US News de los LLM.
Por ahora, LiveBench parece proporcionar una señal mejor calibrada.
- chvid
¿Cómo gana dinero AA? ¿Quiénes son sus inversores?