Un benchmark diario vigila si Opus 5.5 empeora tras su lanzamiento
Livenerf: Has Opus 5.5 been nerfed yet?
livenerf es un benchmark determinista y pre-registrado que sigue durante 30 días si Claude Opus 5.5 se degrada tras su lanzamiento. Usa 78 preguntas de GPQA Diamond, MMLU-Pro y matemáticas de competición que el modelo acierta solo a veces, con prompts congelados, CLI fijada y estadísticas de barras de error. Detecta cambios de unos 7,5 puntos por ventana de 10 días y vigila sobre todo los tokens de salida.
No puedes obtener la misma respuesta dos veces de Opus 5.5, así que todo el diseño consiste en conseguir una distribución en la que puedas confiar, notar cuándo se mueve y gastar el mínimo cómputo posible para lograrlo.