Livenerf misst täglich, ob Opus 5.5 nach dem Launch still schlechter wird

Als Power-User von Claude Code: Wenn das Pop-up 'Bewerte das Feedback zu Claude' auftauchte, habe ich aus Gewohnheit 'gut' oder 'in Ordnung' gesagt, und unmittelbar nach dem Absenden dieses Feedbacks spürte ich eine sofortige Verschlechterung und Fehler, die normalerweise nicht passieren.

Jetzt lehne ich es jedes Mal ab, und die Qualität ist konsistenter.

Völlig anekdotische und persönliche Erfahrung, aber etwas, das ich beobachtet habe; es würde mich nicht überraschen, wenn sie pro Session nerfen würden.

Ich denke, Anthropic versucht, die Dinge anzupassen, um ihre Nutzerlast zu bewältigen, was negative Auswirkungen hat. Zum Beispiel konnte ich Claude vor der Einführung von 1 Million Tokens im Februar effektiv dazu auffordern, weiterzumachen, bis x Anforderungen erfüllt waren; jetzt muss ich eine Schleife bauen, und nicht nur das, Claude wird manchmal vor meiner Schleifenzeit fertig und wartet auf den nächsten Durchlauf, der in etwa 30 Minuten sein könnte. Das hilft ihnen wahrscheinlich, die Last geringer zu halten, aber es könnte wohl jeden verärgern: Die Ausgabe ist dieselbe, man bekommt sie nur nicht mehr so schnell wie früher. Ich hasse es nicht, ich nutze Claude in meiner Freizeit für persönliche Nebenprojekte.

> Es könnte auch bedeuten, dass nichts passiert ist und Leute auf Rauschen Muster erkennen.

Das ist es definitiv nicht. Anthropic hat Tausende Mitarbeiter, die wahrscheinlich täglich über 100.000 winzige Änderungen im gesamten Stack und der Infrastruktur vornehmen.

Der kumulative Effekt kann definitiv vorübergehende Regressionen in irgendeinem Bereich oder Anwendungsfall verursachen, der in ihren internen Tests nicht wirklich gut abgedeckt ist.

Was dies im Fall von LLMs besonders schwierig macht, ist, wie die Änderung einer Formulierung im Prompt die Ausgabe massiv beeinflussen kann.

Aber das gilt weniger, je größer Modelle werden und je mehr zusätzliche Parameter jede mögliche Nuance der Sprache erfassen können. Ich würde sagen, Caching und Cache-Tuning oder Token-Optimierung/Anpassungen am Denken sind heute die größten Übeltäter.

Schön zu sehen, dass die guten alten menschlichen kognitiven Verzerrungen (oder, in sehr fortgeschrittenen Fällen, einfach schlampige Methodik) immer noch hochkonkurrenzfähig mit den Halluzinationen von SOTA-Modellen sind.

Das 'Nerfen' von Modellen ist in der überwiegenden Mehrheit der gemeldeten Fälle nicht real. Benchmarks wie dieser oder die 100 anderen 'Schauen wir mal, ob Nerfing real ist'-Kopien hätten es inzwischen gezeigt, wenn es so wäre.

Ich habe eine Grafik erstellt, um zu erklären, warum Leute das Gefühl haben, die Modelle würden genervt:

https://x.com/thesilenceturns/status/2103551351825543610

Die Idee ist, dass neue Modelle bis zu einem bestimmten Komplexitätsgrad umgehen können, ab dem sie auseinanderfallen. Jedes neue Modell kann mehr Komplexität bewältigen, also gibt es eine wunderbare Zeit direkt nach der Veröffentlichung, in der man das Gefühl hat, alles tun zu können, nur um ein paar Tage später an die Komplexitätsgrenze zu stoßen, wenn man sie ausgereizt hat. Und so weiter und so fort beim nächsten Modell.

Angesichts der Dutzenden Bot-Accounts in diesem Thread, die offensichtlich irreführende Aussagen machen, denke ich, du bist da etwas auf der Spur. Vielleicht wäre es eine gute Idee, einen Patreon oder so zu eröffnen; du brauchst wahrscheinlich Wegwerf-Accounts, um zu verhindern, dass Anthropic dir gute Modelle zuführt.

Ich glaube zu 100 %, dass die Modelle genervt werden, und spüre es, wenn ich sie benutze. Der Launch-Tag des LLM + die Woche, in der es veröffentlicht wird, sind fantastisch. Nachdem sie die ganze Presse bekommen haben, beginnt das Nerfen. Wenn sie ein neues Modell veröffentlichen, ist es manchmal nicht signifikant besser, es ist einfach nicht genervt.

Sind es die Modelle oder die Dopaminrezeptoren der Nutzer, die nach ein paar Wochen genervt werden?

Ich frage mich, ob mehr Organisationen, die das Modell auf einem beschleunigten Weg genehmigen, bedeuten, dass Anthropic um mehr Compute ringt und daher ein winziges bisschen abwirft, um die gestiegene Nachfrage zu bewältigen, besonders zu Spitzenzeiten.