El nerfeo de Opus 5.5 es real: su razonamiento cambió el 3 de noviembre
Is Opus 5.5 nerfed? Thinking patterns changed on November 3
Shane Melaugh hizo que Gemini 4 Argon analizara 1.400 sesiones de Claude Code y detectó un giro brusco en la forma de razonar de Opus 5.5 a partir del 3 de noviembre, aunque el nombre del modelo no cambió. Además, la cantidad de razonamiento en modo "high" se desplomó: en una prueba real, esa configuración se lanzó a actuar sin pensar y no encontró la solución en tres horas, mientras que "xhigh" la halló en minutos.
Una prueba rápida con un bug real mostró que Opus 5.5 en high se lanza a la acción demasiado rápido, se confunde y es incapaz de encontrar una solución tras tres horas completas.
- PhunkyPhil
No tengo ninguna evidencia/estudio que respalde esto, pero tengo la sensación de que hay una cantidad _masiva_ de manipulación en el quant/funcionalidad de los modelos en diferentes etapas del ciclo de lanzamiento y en la frescura de la cuenta.
Cada vez que sale un modelo nuevo se siente salvajemente poderoso, luego regresa a una especie de nivel SOTA genérico al que nos hemos acostumbrado en los últimos 6 meses.
Recuerdo mi primer prompt de programación con, creo que fue sonnet 4.6, en una cuenta nueva y fue impactante cuánto logró hacer con un solo prompt; no lo he encontrado con ningún otro modelo en ningún otro momento y sospecho que fue porque me pusieron al principio de la lista de prioridades para obtener una reacción de "wow".
La regresión después de un lanzamiento está bastante aceptada, pero me pregunto si secretamente tienen una enorme cantidad en reserva que no están lanzando. Ya sea como una carta para jugar en el futuro, o porque no pueden seguir el ritmo de la demanda. He escuchado anécdotas de personas que trabajan con estas empresas diciendo que los modelos públicos ni siquiera se acercan a sus capacidades reales... ¿Alguien tiene alguna opinión sobre esto?
- PaulKeeble
El Qwen 3.8 27B local puede que no sea ni de lejos tan inteligente como los modelos de Claude, pero nunca me despierto una mañana preguntándome si soy parte de algún modelo de prueba para ver si acepto algo un poco menos capaz o no entrenado tan bien en las herramientas que uso a diario. Tampoco va a empezar de repente a negarse a probar la seguridad de mi sistema o a escanear el código en busca de vulnerabilidades o a seguir haciendo ingeniería inversa de ese binario antiguo cuyo código perdió la empresa hace años.
También lo aprecio en algunos de los otros laboratorios como deepseek, que publican el checkpoint que están ejecutando y todavía te venden el antiguo durante un período de tiempo.
Es obscenamente anticonsumidor estar constantemente recortando y cambiando lo que representa un modelo para clientes que les pagan muchísimo más por estar en los modelos de vanguardia.
- rzk
Parece ser un experimento de A/B testing:
https://www.reddit.com/r/ClaudeCode/comments/1xr9x5y/the_ner...
- losvedir
¿Alguien con evals que esté captando una señal real? He aprendido a no confiar en las "vibraciones".
El único que conozco que prueba Opus 5.5 específicamente a lo largo del tiempo es https://github.com/ninjahawk/livenerf y no muestra nada.
- jascha_eng
Lamentablemente esto dejó de funcionar hace unas semanas; la vida media del producto es realmente baja hoy en día, de lo contrario tendríamos algunos datos en los que confiar: https://marginlab.ai/trackers/claude-code/
- benwills
Noté el declive en la calidad de Fable hace un par de semanas. Y he notado una caída de Opus durante la última semana, incluso después de subir a un valor predeterminado de razonamiento Extra High para casi todo.
Esta noche ha sido exasperante con el tipo de errores absurdos que comete repetidamente. Es muy frustrante.
Soy el tipo de persona que quiere que algo sea consistente y confiable. Y Anthropic ha sido genial, excepto en este aspecto. Lo cual es suficiente frustración recurrente (cada par de meses este año) como para que genuinamente no pueda esperar a que otras opciones se pongan al día. Entonces me iré tan pronto como pueda.
Simplemente no sé cuánto tiempo será eso.
- purpleidea
Ha sido nerfeado desde hace mucho tiempo. Cualquiera que haya probado el Fable 5 original sabe lo bueno que era, y todos los modelos posteriores, incluidos los actuales Fable y Opus, definitivamente han sido nerfeados. Es como si añadieran un 5% de error obligatorio a todo el código, etc...
- ricardobeat
Noté lo mismo, y publiqué sobre ello hace tres días.
Opus de repente está fallando en llamadas básicas a herramientas y no logra terminar tareas incluso en high, donde había estado usándolo permanentemente en low effort con éxito desde que salió. Es muy frustrante.
Mi conjetura es que lo cuantizaron y/o reasignaron capacidad de DC para entrenar un nuevo modelo, esto ha pasado antes.
- Zambyte
Me sorprende cómo la gente todavía construye sus flujos de trabajo dependiendo de servicios como estos, con lo fácil que es simplemente autoalojar y olvidarse de todo esto. Puedes comprar una GPU que pueda ejecutar Qwen 3.8 flash por aproximadamente 9 meses de la suscripción de Claude Code de nivel más alto. Nunca tendrás que preocuparte por los límites de tokens, que el modelo cambie bajo tus pies, que te prohiban, etc.
- hoppp
Siempre nerfean antes de lanzar un nuevo modelo para hacerlo quedar mejor, en mi humilde opinión.