Un benchmark diario vigila si Opus 5.5 empeora tras su lanzamiento

Como usuario avanzado de claude code, cuando me sale el pop-up de 'valora el feedback sobre Claude', solía decir bueno o bien por costumbre, e inmediatamente después de enviar ese feedback, sentía una degradación instantánea y errores que normalmente no ocurren.

Ahora lo descarto siempre y la calidad es más consistente.

Experiencia totalmente ad hoc y personal, pero algo que he observado, no me sorprendería que nerfearan por sesión

Creo que Anthropic intenta ajustar cosas para manejar su carga de usuarios, lo cual tiene efectos negativos. Por ejemplo, antes de que añadieran 1 millón de tokens en febrero, podía efectivamente pedirle a Claude que siguiera hasta que se completaran x número de requisitos, ahora tengo que hacer un bucle, y no solo eso, sino que Claude a veces termina antes de que acabe mi bucle y espera a la siguiente pasada, que podría ser en unos 30 minutos. Esto probablemente les ayuda a mantener una carga más ligera, pero probablemente pueda cabrear a cualquiera, la salida es la misma, simplemente no la obtienes tan rápido como antes. No lo odio, uso Claude en mis horas libres para trabajar en proyectos personales paralelos.

> También podría significar que no pasó nada y que la gente está buscando patrones en el ruido.

Definitivamente no es esto. Anthropic tiene miles de empleados haciendo probablemente > 100.000+ cambios diminutos en todo el stack y la infraestructura cada día.

El efecto compuesto puede definitivamente causar regresiones temporales en algún dominio o caso de uso que no tiene una cobertura realmente buena en sus pruebas internas.

Lo que hace esto particularmente desafiante en el caso de los LLM es cómo cambiar algo de lenguaje en el prompt puede afectar enormemente la salida.

Pero esto es menos cierto a medida que los modelos se vuelven más grandes y parámetros adicionales son capaces de capturar cada posible matiz del lenguaje. Yo diría que el caching y el ajuste de caché o la optimización de tokens/ajustes en el thinking son los mayores culpables hoy en día.

Me alegra ver que los buenos y viejos sesgos cognitivos humanos (o, en casos muy avanzados, simplemente metodología descuidada) siguen siendo altamente competitivos con las alucinaciones de los modelos SOTA.

El "nerf"eo de modelos no es real en la gran mayoría de los casos reportados. Benchmarks como este o los otros 100 clones de "veamos si el nerfeo es real" ya lo habrían mostrado si lo fuera.

Hice un gráfico para explicar por qué la gente siente que los modelos son nerfeados:

https://x.com/thesilenceturns/status/2103551351825543610

La idea es que los nuevos modelos pueden manejar hasta cierto nivel de complejidad, momento en el cual se desmoronan. Cada nuevo modelo puede manejar más complejidad, así que hay un momento maravilloso tras el lanzamiento en el que sientes que puedes hacer cualquier cosa, solo para chocar con el techo de complejidad unos días después cuando lo saturas. Enjuagar y repetir para el siguiente modelo.

Dados los decenas de cuentas bot en este hilo haciendo declaraciones obviamente engañosas, creo que estás onto algo aquí. Podría ser una buena idea abrir un Patreon o algo, probablemente necesites cuentas desechables para evitar que Anthropic te alimente con buenos modelos.

Creo al 100% que los modelos están siendo nerfeados y lo siento cuando lo uso. El LLM del día del lanzamiento + la semana en que se lanza es fantástico. Después de que obtienen toda la prensa, empieza el nerfeo. Cuando lanzan un nuevo modelo a veces no es significativamente mejor, simplemente no está nerfeado.

¿Son los modelos o los receptores de dopamina de los usuarios los que se nerfean después de unas semanas?

Me pregunto si más organizaciones aprobando el modelo de forma acelerada significa que Anthropic está forzando más cómputo y por lo tanto recorta un poquito para manejar la mayor demanda, especialmente en horas pico.