Claude Fable 5.2 alcanza 65 en Artificial Analysis, la puntuación más alta hasta ahora
Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far
El modelo Claude Fable 5.2 (max) obtiene 65 en el Artificial Analysis Intelligence Index v5.0.1, la mejor marca registrada hasta la fecha. El índice combina nueve evaluaciones, entre ellas Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience v1.1 y HLE-Diamond, y mide también el coste por tarea y el uso de tokens. El análisis desglosa además capacidades como el trabajo agéntico en terminal, la ingeniería de software y la fiabilidad del conocimiento frente a las alucinaciones.
AA-Omniscience v1.1 Net Score mide la fiabilidad del conocimiento y las alucinaciones: premia las respuestas correctas, penaliza las alucinaciones y no penaliza negarse a responder.
- rgbrenner
Olvídate de las puntuaciones... mira el Coste Por Tarea. Fable 5.1 ya era el más caro por un buen margen, ¡y ahora Fable 5.2 lo duplica! Y eso con la rebaja de precio.
Los tokens de salida por tarea simplemente se dispararon. De 118k tokens (46k Respuesta/71k Razonamiento) en 5.1 a 274k tokens (81k Respuesta/192k Razonamiento) en 5.2.
- oliwary
¡Genial! Parece que Fable 5.2 (especialmente low y medium) también se sitúa en la frontera de Pareto entre tiempo por tarea e inteligencia: https://artificialanalysis.ai/models?speed=output-speed-over...
Siempre me interesa esta comparación porque muestra con qué rapidez puedes ir y venir con un modelo, capturando tanto tokens/tarea como tokens/segundo. Los nuevos modelos parecen ser notablemente mejores en esto.
- brachkow
Es una locura lo caro que es el modelo de Anthropic comparado con el bastante capaz DeepSeek-Flash
Aunque sin duda han hecho los mejores modelos, su precio 100x por unos pocos puntos porcentuales de mejora es completamente inventado, y creo que acabará siendo malo para ellos.
- schnitzelstoat
Parece un aumento demencial de coste para una mejora modesta de inteligencia.
Pero quizá el rendimiento en tareas del mundo real sea más notable que en los benchmarks.
- djacksondev
Para mí, el papel de Fable siempre fue el de planificador o revisor de planes, más que algo que individuos u organizaciones usarían como motor principal. En ese caso, creo que estas mejoras parecen valer la pena a cambio del coste, ¿no? Idealmente, en ese papel quieres el modelo con mejor rendimiento.
No estoy seguro de si la subida actual significa que también es prohibitivo en coste usarlo de esa forma.
- t0md4n
8 puntos más que Astra por 4,2x el coste y 5x los tokens de salida. ¿Vale la pena?
Edito: high parece mejor que max.
- gizmodo59
https://artificialanalysis.ai/#intelligence-efficiency-tabs esta es la gráfica que importa para la mayoría de los desarrolladores y empresas pobres. Pareto para un índice de inteligencia dado y parece que solo openai está en todo el cuadrante con muse abajo del todo. ¡Realmente han cocinado modelos eficientes!
- GMoromisato
Es anecdótico, pero le pido al modelo que escriba un guion de pódcast de dos reseñadores hablando de un libro, capítulo a capítulo.
Fable (5.1 y 5.2) escribe sistemáticamente un guion mucho más corto (2,5 páginas) en comparación con Opus 5.5 (4,5 páginas).
Fable 5.2: https://claude.ai/share/274a96a8-c8a5-4564-9ca1-e914edffc722
Opus 5.5: https://claude.ai/share/da8ab6bd-0987-47dc-9c26-68ebbfb25781