Anthropic 모델이 조용히 퇴화하는지 감시하는 벤치마크가 Opus 5.5에서 가동을 시작했다
Livenerf: Has Opus 5.5 been nerfed yet?
Anthropic이 모델을 출시 몇 주 뒤 조용히 성능을 낮춘다는 의혹이 오래 제기돼 왔지만, 비교할 day-0 기준선이 없어 논쟁은 매번 느낌 대 느낌으로 끝났다. livenerf는 Claude Opus 5.5 출시일인 2026-09-22에 맞춰 시계를 시작한 30일짜리 벤치마크다. GPQA Diamond·MMLU-Pro·경시수학 문제 2,336개를 스크리닝해 모델이 가끔 틀리는 78개만 패널로 고정하고, 프롬프트·CLI·채점기를 모두 동결한 뒤 샘플 수천 개로 통계적 드리프트를 측정한다. 정확도뿐 아니라 출력 토큰 수를 함께 본다.
이 도구는 그 정도 규모의 동일 계열 모델 교체를 검증 한 번 분량의 샘플로는 구분해내지 못한다.