Anthropic 모델이 조용히 퇴화하는지 감시하는 벤치마크가 Opus 5.5에서 가동을 시작했다

claude code 파워 유저로서, 'Claude에 대한 피드백 평가' 팝업이 뜰 때 습관적으로 좋다거나 괜찮다고 말하곤 했는데, 이 피드백을 보낸 직후에 즉각적인 성능 저하와 평소에는 일어나지 않는 실수들을 느꼈습니다.

이제는 매번 무시하고 품질이 더 일관적입니다.

완전히 즉흥적이고 개인적인 경험이지만 제가 관찰한 것이며, 그들이 세션별로 너프를 가하는 것도 놀랍지 않을 것입니다.

Anthropic이 사용자 부하를 처리하기 위해 조정을 시도하고 있으며, 그것이 부정적인 영향을 미친다고 생각합니다. 예를 들어, 그들이 2월에 100만 토큰을 다시 추가하기 전에는 Claude에게 x개의 요구 사항이 완료될 때까지 계속 진행하라고 효과적으로 프롬프트할 수 있었지만, 이제는 루프를 만들어야 합니다. 그뿐만 아니라 Claude가 때때로 내 루프 시간보다 먼저 끝내고 다음 패스(약 30분 정도일 수 있음)를 기다립니다. 이것은 아마도 그들이 더 가벼운 부하를 유지하는 데 도움이 되지만, 누구든 짜증나게 할 수 있습니다. 출력은 동일하지만 예전처럼 빨리 받지 못할 뿐입니다. 나는 그것을 싫어하지 않으며, 개인 사이드 프로젝트를 위해 퇴근 시간에 Claude를 사용합니다.

> 아무 일도 일어나지 않았고 사람들이 노이즈에 패턴 매칭을 하고 있다는 의미일 수도 있습니다.

확실히 그렇지 않습니다. Anthropic에는 수천 명의 직원이 있으며, 아마도 매일 전체 스택과 인프라에 걸쳐 100,000개 이상의 작은 변경을 가하고 있을 것입니다.

그 누적 효과는 내부 테스트에서 정말 좋은 커버리지를 갖지 못한 일부 도메인이나 사용 사례에서 일시적인 회귀를 확실히 일으킬 수 있습니다.

LLM의 경우 이것을 특히 어렵게 만드는 것은 프롬프트의 일부 언어를 변경하면 출력에 막대한 영향을 미칠 수 있다는 점입니다.

하지만 모델이 커지고 추가 매개변수가 언어의 가능한 모든 뉘앙스를 포착할 수 있게 되면서 이는 덜 사실이 됩니다. 오늘날 가장 큰 주범은 캐싱과 캐시 튜닝 또는 토큰 최적화/사고 조정이라고 생각합니다.

좋은 옛날 인간의 인지 편향(또는 아주 발전된 경우에는 그냥 엉성한 방법론)이 여전히 SOTA 모델 환각과 매우 경쟁력이 있다는 것을 보니 기쁩니다.

모델을 "Nerf"하는 것은 보고된 대부분의 경우에 사실이 아닙니다. 이것이나 다른 100개의 "너프가 진짜인지 보자" 복사본 같은 벤치마크가 진짜라면 지금쯤 보여줬을 것입니다.

사람들이 모델이 너프된다고 느끼는 이유를 설명하는 그래픽을 만들었습니다:

https://x.com/thesilenceturns/status/2103551351825543610

아이디어는 새 모델이 특정 수준의 복잡성까지 처리할 수 있으며, 그 지점에서 무너진다는 것입니다. 모든 새 모델은 더 많은 복잡성을 처리할 수 있으므로 출시 시점에는 무엇이든 할 수 있다고 느끼는 멋진 시간이 있지만, 며칠 후 포화 상태에 도달하면 복잡성 한계에 부딪힙니다. 다음 모델을 위해 반복하세요.

이 스레드에 있는 수십 개의 봇 계정이 명백히 오해의 소지가 있는 발언을 하는 것을 보면, 당신이 뭔가를 알고 있는 것 같습니다. Patreon 같은 것을 여는 게 좋을지도 모릅니다. 아마도 Anthropic이 당신에게 좋은 모델을 제공하지 못하도록 방지하기 위해 일회용 계정이 필요할 것입니다.

나는 모델이 너프되고 있다고 100% 믿으며 사용할 때 느낍니다. 출시 당일 LLM + 출시 주간은 환상적입니다. 그들이 모든 언론을 받은 후 너프가 시작됩니다. 새 모델을 출시할 때 때로는 크게 더 나은 것이 아니라 단지 너프되지 않은 것입니다.

몇 주 후에 너프되는 것은 모델인가요, 아니면 사용자의 도파민 수용체인가요?

더 많은 조직이 모델을 빠른 트랙으로 승인하는 것이 Anthropic이 더 많은 컴퓨팅을 위해 압박을 받고 있어 증가된 수요, 특히 피크 시간에 대처하기 위해 약간을 덜어내는 것을 의미하는지 궁금합니다.