Opus 5.5, 11월 3일부로 추론 방식이 바뀌었다
Is Opus 5.5 nerfed? Thinking patterns changed on November 3
Shane Melaugh가 Gemini 4 Argon으로 Claude Code 세션 1,400개를 분석한 결과, 11월 3일에 모델 이름은 그대로인데 추론 방식이 급격히 달라졌다. 'high' 모드의 추론량도 크게 줄었다. 실제 버그 테스트에서도 Opus 5.5 high는 섣불리 덤벼들다 3시간 동안 해결하지 못한 반면, xhigh는 잠깐 생각하고 몇 분 만에 해결했다. '모든 작업에 high를 쓰라'는 조언은 더 이상 통하지 않는다는 지적이다.
그래, 네가 착각하는 게 아니야. 너프는 진짜다.
HN 토론
405- PhunkyPhil
이걸 뒷받침할 증거나 연구는 없지만, 출시 주기의 여러 단계와 계정 신선도에 따라 모델의 퀀트/기능이 엄청나게 조작되고 있다는 느낌이 듭니다.
새 모델이 나올 때마다 엄청나게 강력하게 느껴지다가, 지난 6개월 동안 익숙해진 일종의 일반적인 SOTA 수준으로 회귀하죠.
아마 sonnet 4.6이었던 것 같은데, 새 계정에서 첫 코딩 프롬프트를 했을 때 단 한 번의 프롬프트로 성공적으로 해낸 게 충격적이었습니다. 다른 모델, 다른 시점에서는 그런 걸 찾지 못했고, 아마 "와" 반응을 얻기 위해 저를 우선순위 목록 최상단에 올려놓았기 때문이라고 생각합니다.
출시 후의 회귀는 꽤 공감대가 형성되어 있지만, 혹시 그들이 공개하지 않은 엄청난 양의 성능을 비밀리에 보유하고 있는 건 아닐까 궁금합니다. 미래에 쓸 카드로 남겨두거나, 수요를 따라잡지 못해서일 수도 있죠. 이 회사들과 일하는 사람들이 공개 모델은 실제 능력에 근접하지도 못한다고 말했다는 일화를 들은 적이 있습니다... 이에 대해 의견 있으신 분?
- PaulKeeble
로컬 Qwen 3.8 27B는 Claude 모델만큼 똑똑하지 않을 수 있지만, 어느 날 아침에 일어나서 내가 일상적으로 사용하는 도구에서 약간 덜 유능하거나 덜 훈련된 무언가를 받아들일지 보기 위한 테스트 모델의 일부인지 궁금해할 일은 없습니다. 또한 갑자기 내 시스템의 보안 테스트를 거부하거나 취약점을 위해 코드를 스캔하는 것을 거부하거나, 회사가 몇 년 전에 코드를 잃어버린 오래된 바이너리를 계속 역공학하는 것을 거부하지도 않을 겁니다.
deepseek 같은 다른 연구소들도 마찬가지로 고맙게 생각하는데, 그들이 실행 중인 체크포인트를 공개하고 한동안은 이전 모델도 계속 판매하니까요.
최전선 모델을 사용하기 위해 엄청나게 더 많은 비용을 지불하는 고객에게 모델이 나타내는 바를 끊임없이 바꾸는 것은 매우 반소비자적입니다.
- rzk
A/B 테스트 실험인 것 같습니다:
https://www.reddit.com/r/ClaudeCode/comments/1xr9x5y/the_ner...
- losvedir
실제 신호를 포착한 평가를 가진 사람 있나요? 저는 "느낌"을 믿지 않게 되었습니다.
시간 경과에 따른 Opus 5.5를 구체적으로 테스트한 것으로 제가 아는 유일한 것은 https://github.com/ninjahawk/livenerf 인데 아무것도 보여주지 않습니다.
- jascha_eng
안타깝게도 이건 몇 주 전에 작동을 멈췄습니다. 요즘 제품 반감기가 정말 짧아서 그렇지 않으면 의지할 데이터가 있을 텐데요: https://marginlab.ai/trackers/claude-code/
- benwills
저는 몇 주 전에 Fable의 품질 저하를 느꼈습니다. 그리고 지난주에는 거의 모든 것에 대해 기본적으로 Extra High 추론으로 올린 후에도 Opus가 떨어진 것을 느꼈습니다.
오늘 밤은 그것이 반복적으로 저지르는 터무니없는 실수들 때문에 미칠 지경이었습니다. 정말 좌절스럽습니다.
저는 일관성 있고 신뢰할 수 있는 것을 원하는 사람입니다. 그리고 Anthropic은 이런 점만 빼면 훌륭했습니다. 이건 (올해 거의 두 달에 한 번꼴로) 반복되는 좌절감으로 충분히 커서 다른 옵션들이 따라잡기를 진심으로 기다리고 있습니다. 그러면 최대한 빨리 떠날 겁니다.
그게 얼마나 걸릴지는 모르겠습니다.
- purpleidea
꽤 오랫동안 너프되어 왔습니다. 원래 Fable 5를 시도해본 사람이라면 그게 얼마나 좋았는지 알 것이고, 이후의 모든 모델, 현재의 Fable과 Opus도 확실히 너프되었습니다. 마치 모든 코드에 의무적으로 5% 오류를 추가하는 것 같습니다...
- ricardobeat
저도 같은 걸 느꼈고, 3일 전에 글을 올렸습니다.
Opus가 갑자기 기본적인 도구 호출을 망치고, 출시 이후로 low effort로 계속 성공적으로 사용해왔는데 high에서도 작업을 완료하지 못하고 있습니다. 매우 좌절스럽습니다.
제 추측은 그들이 이를 양자화했거나, 새로운 모델을 훈련시키기 위해 데이터센터 용량을 재할당한 것 같습니다. 전에도 이런 일이 있었죠.
- Zambyte
사람들이 이렇게 쉽게 셀프 호스팅하고 이 모든 것을 잊을 수 있는데도 이런 서비스에 의존해 워크플로를 구축한다는 게 정말 놀랍습니다. 최고 등급 Claude Code 구독료 약 9개월치 가격이면 Qwen 3.8 flash를 실행할 수 있는 GPU를 살 수 있습니다. 그러면 토큰 제한, 모델이 발밑에서 바뀌는 것, 차단되는 것 등을 걱정할 필요가 없습니다.
- hoppp
제 생각엔 그들은 항상 새 모델을 내놓기 전에 너프해서 새 모델이 더 좋아 보이게 만드는 것 같습니다.