Claude Fable 5.1 y Claude Mythos 5.1: los modelos más avanzados de Anthropic para codificación y ciencia

Pelícanos para esfuerzo de pensamiento bajo, medio, alto y extra alto (ese extra alto es bastante bueno): https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

Todavía estoy esperando a que termine el esfuerzo máximo.

EDIT: Arreglé un bug en mi herramienta para que ahora registre trazas de razonamiento resumidas - aquí está ese pelícano máximo, que es una mejora significativa: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

Tardó poco menos de 14 minutos en generarse, y con 65927 tokens de salida me costó unos considerables $3.30.

Extractos de la traza de razonamiento:

> Añadiendo formas de pedales cerca de ambos pies, con el pie lejano en la segunda pierna parcialmente visible detrás del marco. Estoy considerando si añadir una pequeña bufanda o gorra para darle más carácter, pero me inclino por mantenerlo simple para evitar desorden.

> Ahora estoy debatiendo entre un casco de bicicleta en la cabeza y la cresta característica del pelícano—el pico y la bolsa ya se leen claramente como "pelícano", así que un casco podría reforzar el tema de la bicicleta sin perder identidad, aunque podría competir con la cresta por el espacio visual.

> Me doy cuenta de que el pico en (484,84) se superpondría con el casco de cúpula, así que necesito encoger el casco para que solo cubra la parte superior de la cabeza, ajustando los extremos de su arco para que queden más altos y estrechos, de modo que el pico pueda unirse limpiamente al frente sin colisión. [...]

> Estoy añadiendo una región de punta más oscura para representar las plumas primarias, y luego reconsiderando el borde de salida para incluir curvas de plumas festoneadas en lugar de una línea suave para un aspecto más natural. [...]

> N […]

La reducción de precio proviene de que el precio de lectura de caché baja de $1/M a $0.25/M, lo que significa que Fable 5.1 ahora cuesta la mitad de los costos de lectura de caché de Opus ($0.5/M).

Esto da mucho crédito a la teoría de que Anthropic no tuvo mucha aceptación con Fable a su precio original, lo que a su vez probablemente pone un techo a los precios de los LLM en general.

Curiosamente, si quitas los resultados de Terminal-Bench-Science 0.1, es difícil ver cualquier mejora:

Terminal-Bench 4.0: Fable 5.1 es +3.5% vs Opus 5.

GDPval-AA v2: +1.5% vs Opus 5.

OSWorld 2.0: +2.5% vs Opus 5.

Humanity's Last Exam (con herramientas): +1.6%

Ten en cuenta que se supone que este es un nivel completamente superior al de Opus 5. Para un nivel más y una versión más, estas no son realmente mejoras. Probablemente no deja espacio para colocar Opus 5.1 en ningún lugar. Combinado con el hecho de que están vendiendo 'legibilidad'... ¿Finalmente se ha estancado el progreso de la frontera?

¿Alguien ha visto alguna vez el episodio de South Park que se burla de Juego de Tronos: A Song of Ass and Fire? Los anuncios de Anthropic me recuerdan al chiste recurrente de "Los dragones están llegando".

Lo que han hecho:

* Nerfear a Fable, como muchos han notado que es inútil

* Usar a Mythos como estrategia de marketing, afirmando que es demasiado bueno para liberarlo

* Eliminar los rastros de pensamiento, una de las únicas cosas útiles para asegurarse de que tus prompts funcionan correctamente

* Continuar con un montón de hype sobre lo buenos que son sin entregar, y esforzándose por publicar cómo su modelo "hackeó" su salida de un sandbox que ellos malconfiguraron.

* Imponer un montón de sobrerregulación de la UE al resto del mundo con el marcado de agua de texto, disminuyendo la calidad de las respuestas

El año pasado, al menos estaban enfocados en hacer mejoras. Hoy en día es solo un montón de gestos en la iglesia de lo buenos que son.

La única gracia salvadora es que Opus 4.6 todavía está disponible. Solo apesta que no hayamos visto ninguna mejora medible, a pesar de toda la ceremonia.

Parece que los tres cambios importantes son parches para la divulgación inadvertida de la cadena de pensamiento. Alguien descubrió (no tengo el tweet a mano) que si creabas una herramienta falsa "think_deeply" y luego forzabas al modelo a usarla, este emitiría lo que se cree que es su pensamiento crudo allí - creo que el primer cambio importante detiene esto. Los otros dos están dirigidos a personas que logran que Haiku repita bloques de pensamiento de otros modelos textualmente (ya que puede ver la versión descifrada). Entiendo que a sus ojos sea una "explotación", pero sigue siendo algo decepcionante que hayan parcheado esto.

Estoy descubriendo que ahora me interesan menos los modelos mejores que los presupuestos de tokens. Mi problema con los modelos de Anthropic ahora es que no siento que pueda depender de ellos como herramienta diaria porque se agotarán antes de que se restablezca mi cuota.

Me estoy volviendo dependiente de la IA para ganarme la vida, y necesito un gasto predecible en ella. Si sé que no puedo usar un modelo regularmente durante todo el mes, mi entusiasmo es limitado.

Insto a Anthropic a mejorar en este aspecto de su negocio para que pueda volver a ello.

"La escritura de Claude Fable 5.1 es generalmente un paso adelante respecto a los modelos anteriores de Claude, con menos frases hechas y menos jerga inexplicada. En algunos casos, sin embargo, su prosa es más densa que la de Claude Fable 5: las oraciones son más largas y hay menos saltos de párrafo."

Cancelé mi suscripción Pro Max de Claude la semana pasada; Codex es mucho más conciso. Tengo curiosidad si esto está mejorando.

No creo que Anthropic se dé cuenta de que los humanos también tenemos un límite de tokens y puede ser agotador leer la salida de Claude. La densidad de la prosa no es lo mismo que la concisión.

"Precio. Fable 5.1 costará aproximadamente un 25% menos que Fable 5 para cargas de trabajo típicas, donde el uso se factura por token. Esto se debe a que estamos reduciendo nuestros precios en lecturas de caché (donde el modelo lee entradas que ya han sido procesadas y almacenadas). Para trabajos altamente agénticos, los ahorros a menudo serán mucho mayores—hasta aproximadamente un 45%."

¡Me alegra ver esto!

Estaré muy emocionado de probarlo y ver la mejora real en el estilo de escritura. El estilo de escritura más denso probablemente no me molestará.

Anthropic parece estar escuchando las quejas de la comunidad en HN sobre cómo el estilo de escritura es irritante. ¿Y aparentemente la solución de Anthropic es añadir este bloque a cada conversación!?

> La prosa amanerada sustituye la metáfora y el floreo por la declaración directa. En lugar de "un parámetro que vale la pena variar", el escritor amanerado produce "una perilla que vale la pena girar". En lugar de "este punto todavía importa", escriben "este punto se gana su lugar". Las frases existen para mostrar al escritor, no para transmitir la idea, y los lectores pueden notarlo. Por eso la prosa amanerada irrita: hace que el lector trabaje más para que el escritor pueda actuar. También es imprecisa. Las metáforas arrastran connotaciones que el escritor no eligió y no puede controlar. La solución es decir lo que quieres decir. Cuando una frase literal está disponible, úsala.

Lo anterior fue citado textualmente de https://platform.claude.com/docs/en/build-with-claude/prompt...

> Por ejemplo, en las pruebas realizadas por la firma de inversión Millennium, Fable 5.1 encontró la causa de un fallo raro en sus sistemas internos que ninguno de sus ingenieros (ni ningún otro modelo) había podido explicar después de varios años de intentos.

Di lo que quieras sobre el código generado por LLM, pero historias como esta me dan esperanza de que el software nunca será tan lleno de errores como lo fue una vez.