Claude Opus 5.5 тихо ослабили? Новый бенчмарк livenerf начинает отслеживать деградацию модели

Как активный пользователь claude code, когда у меня всплывает окно «оцените отзыв о Claude», я раньше по привычке отвечал хорошо или нормально, и сразу после отправки этого отзыва я мгновенно чувствовал деградацию и ошибки, которые обычно не случаются.

Теперь я закрываю его каждый раз, и качество стало более стабильным.

Совершенно случайный и личный опыт, но я это наблюдал, не удивлюсь, если они нерфят на уровне сессии.

Думаю, Anthropic пытается что-то подкручивать, чтобы справляться с нагрузкой пользователей, а это даёт негативные эффекты. Например, до того как они добавили 1 миллион токенов в феврале, я мог эффективно заставить Claude продолжать работу, пока не выполнено x требований, а теперь мне приходится делать цикл; мало того, иногда Claude завершает работу раньше времени моего цикла и ждёт следующего прохода, который может быть минут через 30. Вероятно, это помогает им держать нагрузку ниже, но это может раздражать кого угодно: вывод тот же, просто вы получаете его не так быстро, как раньше. Я не ненавижу это, я использую Claude в нерабочее время для личных проектов.

> Это также может означать, что ничего не произошло, а люди просто ищут паттерны в шуме.

Это точно не так. У Anthropic тысячи сотрудников, которые, вероятно, вносят более 100 000+ мелких изменений по всему стеку и инфраструктуре каждый день.

Совокупный эффект вполне может вызывать временные регрессии в какой-то области или сценарии использования, которые плохо покрыты их внутренними тестами.

Что особенно усложняет ситуацию с LLM, так это то, как изменение формулировки в промпте может кардинально повлиять на вывод.

Но это менее верно по мере роста моделей и увеличения числа параметров, способных улавливать каждый возможный нюанс языка. Я бы сказал, что кэширование и настройка кэша или оптимизация токенов/правки в мышлении — сегодня главные виновники.

Рад видеть, что старые добрые человеческие когнитивные искажения (или, в особо продвинутых случаях, просто небрежная методология) всё ещё успешно конкурируют с галлюцинациями моделей SOTA.

«Нерф» моделей не реален в подавляющем большинстве сообщаемых случаев. Такие бенчмарки или сотня других копий «давайте проверим, реален ли нерф» уже давно бы это показали, если бы это было так.

Я сделал график, объясняющий, почему людям кажется, что модели нерфят:

https://x.com/thesilenceturns/status/2103551351825543610

Идея в том, что новые модели могут справляться с определённым уровнем сложности, после чего разваливаются. Каждая новая модель может справляться с большей сложностью, так что при выходе наступает чудесное время, когда кажется, что можешь всё, но через несколько дней, когда вы насыщаете её, вы упираетесь в потолок сложности. И так по кругу со следующей моделью.

Учитывая десятки ботов в этой ветке, делающих явно вводящие в заблуждение заявления, думаю, вы что-то нащупали. Возможно, стоит открыть Patreon или что-то такое, вам, вероятно, нужны одноразовые аккаунты, чтобы Anthropic не подсовывала вам хорошие модели.

Я на 100% верю, что модели нерфят, и чувствую это, когда использую их. LLM в день запуска и в первую неделю после релиза — фантастика. После того как они получают всю прессу, начинается нерф. Когда они выпускают новую модель, иногда она не значительно лучше, просто не нерфленная.

Это модели или дофаминовые рецепторы пользователей нерфят через несколько недель?

Интересно, не означает ли то, что больше организаций одобряют модель по ускоренной процедуре, что Anthropic изо всех сил пытается добыть больше вычислений и потому сбрасывает чуть-чуть, чтобы справиться с возросшим спросом, особенно в пиковые часы.