Livenerf misst täglich, ob Opus 5.5 nach dem Launch still schlechter wird
Livenerf: Has Opus 5.5 been nerfed yet?
Ein neues Open-Source-Benchmark namens Livenerf will herausfinden, ob Frontier-Modelle nach dem Release heimlich an Leistung verlieren. Es läuft 30 Tage lang täglich auf einem eingefrorenen Fragenset und vergleicht die Ergebnisse mit der Launch-Woche. Erste Daten für Claude Opus 5.5 zeigen noch keine Verschlechterung, aber das Projekt kann erst nach Tag 20 fundierte Aussagen treffen.
Man kann diese Modelle nicht deterministisch machen: Sampling-Parameter sind weg und das Denken lässt sich nicht abschalten. Also macht Livenerf alles andere deterministisch: eingefrorene Prompts, festgenagelte CLI, exakte Bewerter, rohe Logs für immer.