Claude Sonnet 5.5 schlägt Sonnet 5 um 60 Punkte im Agentic Coding
Anthropic stellt Claude Sonnet 5.5 vor, das zweite Modell der Claude 5.5-Familie. Es ist über 30 % schneller und kostet pro Aufgabe bis zu 30 % weniger als Sonnet 5. Besonders deutlich ist der Sprung beim agentischen Coding: Auf Terminal-Bench 4.0 erreicht es 70,6 % gegenüber 10,3 % beim Vorgänger. Auch bei Wissensarbeit und Design zeigt es deutliche Verbesserungen und erreicht fast Opus 5.5. Claude Haiku 5.5 soll in den kommenden Wochen folgen.
In Epic’s early testing, Claude Sonnet 5.5 cleared the same quality bar you’d expect from a higher-tier model, holding up on a system design audit and a data flow review. The new model managed tens of thousands of lines of code for gameplay system architecture, kept responses snappy, handled multi-hour tasks, and delivered with less prescriptive prompting.
- azuanrb
Wenn du nicht gerade Frontier-Modelle wie Astra, Sol, Fable oder Opus verwendest, bist du meiner Meinung nach oft besser dran, chinesische Modelle für einen Bruchteil des Preises zu nutzen. Ich bin mir nicht sicher, ob den Leuten klar ist, wie konkurrenzfähig die geworden sind.
GLM und DeepSeek sind großartige Beispiele. Sie sind ein bisschen wie Linux oder Android, insofern es nicht unbedingt einen besten Anbieter gibt. Man muss etwas recherchieren, ein paar ausprobieren und das wählen, was für den eigenen Anwendungsfall am besten funktioniert.
Ich denke, das ist teilweise der Grund, warum Anthropic seit einer Weile so stark auf seine teuersten Modelle setzt. Sonnet und Haiku waren großartig, aber auf diesem Intelligenzniveau wird es für sie viel schwieriger, beim Preis mit chinesischen Modellen zu konkurrieren, die weitgehend aufgeholt haben.
Der Hauptgrund, jetzt Frontier-Modelle von Anthropic oder OpenAI zu nutzen, ist die Kombination aus Intelligenz und Geschwindigkeit. Chinesische Frontier-Modelle tun sich noch schwer, das zu erreichen, möglicherweise teilweise wegen Hardware-Beschränkungen. Aber den jüngsten GLM-Releases nach zu urteilen, scheinen sie sich in die richtige Richtung zu bewegen.
- Sol-
Wahrscheinlich ein First-World-Problem, aber mit der Effizienz von Opus 5.5 sind die Limits des 5x-Plans für meine alltägliche Arbeit einfach ausreichend, selbst wenn ich 2-3 Sessions gleichzeitig laufen lasse. Also frage ich mich, wann ich Sonnet 5.5 verwenden würde.
Mehr Parallelität als das ist für mich nicht wirklich praktikabel, wenn ich noch einen Anschein von Verständnis behalten will. Vielleicht ist das bei reinen Web-App- oder Frontend-Aufgaben anders, wo das Ergebnis relevanter ist als der Prozess, da habe ich nicht viel Erfahrung (und will diese Bereiche auch nicht abwerten, vielleicht unterschätze ich ihre Komplexität).
Also überraschenderweise ist meine eigene Arbeit zumindest vorerst fast durch die Modellfähigkeiten gesättigt. Ich bin nicht sicher, wie ich von hier aus skalieren würde. Klar, ich könnte alle Anfragen mit maximalem Aufwand laufen lassen, um Tokens zu verbrennen, aber das kann es nicht sein. Und für viele Aufgaben bin ich nicht wirklich in der Lage, so klare Erfolgskriterien oder Selbstverifikationsschleifen zu definieren, dass ich davon profitieren könnte, einen Agenten (oder eine Flotte davon) einen Tag lang autonom laufen zu lassen.
Also mir ist klar, dass es ein Skill-Problem auf meiner Seite ist, aber ich kann nicht der Einzige sein. Ich frage mich, ob es eine Grenze für die Token-Nachfrage gibt, zumindest kurzfristig. Es fühlt sich an, als würden sie entweder in Richtung AGI und RSI beschleunigen, wo die KI Verwendungsmöglichkeiten für Tokens findet, oder die Dinge könnten irgendwann ein Plateau erreichen.
Anmerkung: Ich denke das nicht, weil ich ein AGI-Skeptiker bin oder glaube, dass es eine Obergrenze für Intelligenz gibt, sondern es könnte einfach ein Tal wirtschaftlicher Not für die Unternehmen geben, in dem das Angebot an Tokens die Nachfrage übersteigt, do […]
- abejora
Dass Sonnet 5.5 im Terminal-Bench höher punktet (70,6) als Opus 5.5 (66,4), ist interessant. Ich habe das untersucht, weil es seltsam erschien.
Es stellt sich heraus, dass bei Opus 10 % der Versuche aufgrund von Safeguards von einem Fallback-Modell beantwortet wurden; bei Sonnet waren es nur 1,5 % Fallbacks. [1] Also würde ich da nicht zu viel hineininterpretieren, allein der Unterschied bei den Fallbacks könnte die Lücke erklären.
[1] Abschnitt 8.5 des Sonnet 5.5 System Card
- wongarsu
"Die Cyber-Fähigkeiten von Sonnet 5.5 sind eine große Verbesserung gegenüber denen von Sonnet 5, deshalb setzen wir es mit ähnlichen Safeguards ein wie bei Opus 5.5. Nutzer können im Rahmen der routinemäßigen Softwareentwicklung weiterhin Bugs in ihrem Code finden und beheben, aber risikoreichere Cybersecurity-Aufgaben werden sichtbar auf Sonnet 5 zurückfallen
Klingt, als hätten wir zumindest bei Anthropic-Modellen mit Opus 4.8 die Spitze der Cyber-Fähigkeiten erreicht. Alles danach fällt auf schlechtere Modelle zurück
- simonw
Pelikane. Sonnet 5.5 hat dasselbe Problem wie Opus 5.5: Bei Denkaufwand "max" verbrauchte es 128.000 Thinking-Tokens (und brauchte dafür 15 Minuten) und ging aus, bevor es das finale SVG produziert hatte.
https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Hier der Vergleich der Denkaufwand-Stufen:
low
27 Input, 1.623 Output, thinking_tokens: 0
1,6284
Dauer: 10138ms (10s)
medium
27 Input, 1.796 Output, thinking_tokens: 0
1,7914 Cent
Dauer: 11266ms (11s)
high
27 Input, 2.334 Output, thinking_tokens: 745
2,3394 Cent
Dauer: 17376ms (17s)
xhigh
27 Input, 5.730 Output, thinking_tokens: 2535
5,7354 Cent
Dauer: 41882ms (41s)
max (keine Antwort zurückgegeben)
27 Input, 128.000 Output, thinking_tokens: 128000
$1,28
Dauer: 940617ms (15m 40s)
Low und medium verbrauchten beide 0 Thinking-Tokens.
- wkcheng
Das Kosten-/Leistungsdiagramm zeigt, dass es in fast allen Konfigurationen schlechter abschneidet als Opus. Warum sollte man Sonnet 5.5 auf xhigh verwenden, wenn man mit Opus 5.5 high bessere Ergebnisse (höherer Score, günstigere Kosten) bekommt?
Gibt es einen guten Anwendungsfall? Das ist nicht wie bei Luna, wo es in bestimmten Situationen viel günstiger/effektiver ist, einfach Luna zu verwenden.
- MisterMunchkin
Es kostet 20-mal mehr als die chinesischen Modelle, die ich nutze. Ich brauche sie einfach nicht mehr. Klar, ich würde sie nutzen, wenn ich für einen Job dazu gezwungen wäre, aber außerhalb davon bezahle ich sie nicht mehr.
Und mein Arbeitgeber zahlt jetzt nicht einmal mehr für Claude, weil es so ruinös teuer ist.
- Jcampuzano2
Ich verstehe nicht, warum ich das wirklich nutzen sollte, anstatt einfach eine niedrigere oder sogar ähnliche Aufwandsstufe bei Opus zu verwenden, da es in vielen der Benchmarks im Grunde dieselben Kosten hat, wenn nicht mehr, bei jedem Aufwand über medium.
Klar, vielleicht kostet es 30 % weniger als Sonnet 5, aber jetzt ist es in den meisten Benchmarks wohl praktisch Kopf an Kopf, und in einigen übertrifft es sogar die Kosten von Opus.
Vielleicht übersehe ich etwas, aber die Ankündigung scheint dem Durchschnittsmenschen nicht wirklich viel Grund zu geben, überhaupt darüber nachzudenken, das zu nutzen.
- ghoshbishakh
Sonnet ist jetzt also besser als Fable? Jenes Fable, das zu gefährlich war, um veröffentlicht zu werden? Ich bin jetzt so verwirrt.
- johnmlussier
Ich zahle 200 $ im Monat und bin Teil ihres Cyber Verification Program, kann aber Opus 5.5 oder Sonnet 5.5 nicht für irgendeine autorisierte Bounty-Arbeit nutzen. Sofort werde ich für `Cyber` geflaggt.
Das ist Bullshit. Ihre Safeguards sind Scheiße.