Claude Fable 5.1 und Claude Mythos 5.1: Anthropic senkt Preise und verbessert Sicherheitsvorkehrungen

Pelikane für Denkaufwand niedrig, mittel, hoch und sehr hoch (das sehr hoch ist ziemlich gut): https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

Ich warte immer noch darauf, dass Denkaufwand max fertig wird.

EDIT: Ich habe einen Fehler in meinem Tool behoben, sodass es jetzt zusammengefasste Denkspuren aufzeichnet – hier ist dieser max-Pelikan, der eine deutliche Verbesserung darstellt: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

Die Erstellung dauerte knapp 14 Minuten und kostete mich bei 65927 Ausgabetoken satte 3,30 $!

Auszüge aus der Denkspur:

> Hinzufügen von Pedalformen in der Nähe beider Füße, wobei der hintere Fuß am zweiten Bein teilweise hinter dem Rahmen sichtbar ist. Ich überlege, ob ich einen kleinen Schal oder eine Mütze für mehr Charakter hinzufügen soll, neige aber dazu, es einfach zu halten, um Unordnung zu vermeiden.

> Jetzt überlege ich, ob ich dem Kopf einen Fahrradhelm aufsetzen soll oder dem charakteristischen Kamm des Pelikans – Schnabel und Kehlsack lesen sich bereits klar als "Pelikan", also könnte ein Helm das Fahrradthema verstärken, ohne die Identität zu verlieren, auch wenn er mit dem Kamm um visuellen Platz konkurrieren könnte.

> Mir ist aufgefallen, dass der Schnabel bei (484,84) mit dem Helm überlappen würde, also muss ich den Helm verkleinern, sodass er nur die Oberseite des Kopfes bedeckt, und seine Bogenendpunkte so anpassen, dass sie höher und schmaler liegen, damit der Schnabel vorne sauber ansetzen kann, ohne zu kollidieren. [...]

> Ich füge eine dunklere Spitzenregion hinzu, um die Schwungfedern darzustellen, und überdenke dann die Hinterkante, um gewellte Federkurven einzubeziehen statt einer einzigen glatten Linie, für ein natürlicheres Aussehen. [...]

> N […]

Die Preissenkung kommt von den Cache-Lese-Preisen, die von 1 $/M auf 0,25 $/M fallen, was bedeutet, dass Fable 5.1 jetzt die Hälfte der Cache-Lese-Kosten von Opus (0,5 $/M) kostet.

Das stützt die Theorie, dass Anthropic mit Fable zum ursprünglichen Preis nicht viel Beachtung gefunden hat, was wiederum wahrscheinlich eine Obergrenze für LLM-Preise im Allgemeinen setzt.

Interessanterweise: Wenn man die Terminal-Bench-Science 0.1 Ergebnisse weglässt, ist es schwer, irgendeine Verbesserung zu sehen:

Terminal-Bench 4.0: Fable 5.1 ist +3,5 % gegenüber Opus 5.

GDPval-AA v2: +1,5 % gegenüber Opus 5.

OSWorld 2.0: +2,5 % gegenüber Opus 5.

Humanity's Last Exam (mit Tools): +1,6 %

Bedenken Sie, dass dies eine völlig höhere Modellklasse als Opus 5 sein soll. Für eine Stufe höher und eine Version höher sind das keine wirklichen Verbesserungen. Wahrscheinlich bleibt kein Raum, um Opus 5.1 irgendwo zu platzieren. Zusammen mit der Tatsache, dass sie 'Lesbarkeit' verkaufen ... Ist der Fortschritt an der Front endlich ins Stocken geraten?

Hat schon jemand die South-Park-Folge gesehen, die sich über Game of Thrones lustig macht: A Song of Ass and Fire? Die Ankündigungen von Anthropic erinnern mich an den Running Gag "The Dragons Are Coming".

Was sie getan haben:

* Fable geschwächt, wie viele bemerkt haben, ist es nutzlos

* Mythos als Marketingstrategie nutzen und behaupten, es sei zu gut, um es zu veröffentlichen

* Denkprotokolle entfernt, eines der einzigen nützlichen Dinge, um sicherzustellen, dass deine Prompts richtig funktionieren

* Weiterhin jede Menge Hype darüber, wie gut sie sind, ohne zu liefern, und große Anstrengungen unternehmen, um zu veröffentlichen, wie ihr Modell sich aus einer Sandbox "gehackt" hat, die sie falsch konfiguriert hatten.

* Der restlichen Welt eine Menge EU-Überregulierung mit Text-Wasserzeichen aufzwingen, was die Qualität der Antworten verringert

Letztes Jahr waren sie zumindest darauf fokussiert, Verbesserungen zu machen. Heutzutage ist es nur eine Menge Handgewinke in der Kirche, wie gut sie sind.

Die einzige Rettung ist, dass Opus 4.6 immer noch verfügbar ist. Es ist nur schade, dass wir trotz all der Zeremonie keine messbare Verbesserung gesehen haben.

Es sieht so aus, als ob alle drei bahnbrechenden Änderungen Patches für die unbeabsichtigte Offenlegung von Gedankenketten sind. Jemand hat herausgefunden (habe den Tweet nicht zur Hand), dass, wenn man ein gefälschtes "think_deeply"-Tool erstellt und das Modell dann gezwungen hat, es zu verwenden, es dort das ausgab, was vermutlich sein rohes Denken ist – ich glaube, die erste bahnbrechende Änderung stoppt das. Die zweiten beiden zielen darauf ab, Leute daran zu hindern, Haiku dazu zu bringen, Denkblöcke von anderen Modellen wörtlich zu wiederholen (da es die entschlüsselte Version sehen kann). Ich verstehe, dass es in ihren Augen ein "Exploit" ist, aber es ist trotzdem irgendwie enttäuschend, dass sie das gepatcht haben

Ich stelle fest, dass ich jetzt weniger an besseren Modellen interessiert bin als an Token-Budgets. Mein Problem mit Anthropic-Modellen ist jetzt, dass ich das Gefühl habe, mich nicht auf sie als täglichen Begleiter verlassen zu können, weil sie versiegen, bevor mein Kontingent zurückgesetzt wird.

Ich werde zunehmend abhängig von KI, um meinen Lebensunterhalt zu verdienen, und ich brauche planbare Ausgaben dafür. Wenn ich weiß, dass ich ein Modell nicht den ganzen Monat regelmäßig nutzen kann, ist meine Begeisterung begrenzt.

Ich fordere Anthropic auf, besser in diesem Aspekt ihres Geschäfts zu werden, damit ich zurückkommen kann.

"Claude Fable 5.1s Schreibstil ist generell eine Verbesserung gegenüber früheren Claude-Modellen, mit weniger Standardphrasen und weniger unerklärtem Fachjargon. In einigen Fällen ist seine Prosa jedoch dichter als die von Claude Fable 5: Sätze sind länger und es gibt weniger Absatzumbrüche."

Ich habe letzte Woche mein Pro-Max-Claude-Abonnement gekündigt; Codex ist viel prägnanter. Ich bin neugierig, ob das besser wird.

Ich glaube nicht, dass Anthropic erkennt, dass Menschen auch ein Token-Limit haben und es anstrengend sein kann, Claudes Ausgabe zu lesen. Prosadichte ist nicht dasselbe wie Prägnanz.

"Preis. Fable 5.1 wird für typische Arbeitslasten, bei denen die Abrechnung nach Token erfolgt, voraussichtlich etwa 25 % weniger kosten als Fable 5. Dies liegt daran, dass wir die Preise für Cache-Lesezugriffe senken (bei denen das Modell Eingaben liest, die bereits verarbeitet und gespeichert wurden). Bei stark agentischen Arbeiten werden die Einsparungen oft viel größer sein – bis zu etwa 45 %."

Freut mich, das zu sehen!

Ich bin sehr gespannt, es auszuprobieren und die tatsächliche Verbesserung im Schreibstil zu sehen. Der dichtere Schreibstil wird mich wahrscheinlich nicht stören.

Anthropic scheint auf die Beschwerden der Community auf HN zu hören, wie der Schreibstil nervt. Und anscheinend ist die Lösung von Anthropic, diesen Block zu jeder Unterhaltung hinzuzufügen!?

> Manierierte Prosa ersetzt Metaphern und Ausschmückung durch direkte Aussagen. Statt "ein Parameter, den es wert ist, variiert zu werden", produziert der manierierte Schreiber "ein Rad, das es wert ist, gedreht zu werden". Statt "dieser Punkt ist immer noch wichtig", schreiben sie "dieser Punkt verdient seinen Platz". Die Phrasen existieren, um den Schreiber zu zeigen, nicht um die Idee zu vermitteln, und die Leser können das erkennen. Deshalb nervt manierierte Prosa: Sie lässt den Leser härter arbeiten, damit der Schreiber performen kann. Sie ist auch unpräzise. Metaphern ziehen Konnotationen mit sich, die der Schreiber nicht gewählt hat und nicht kontrollieren kann. Die Lösung ist, zu sagen, was man meint. Wenn eine wörtliche Phrase verfügbar ist, verwende sie.

Das oben Genannte wurde wörtlich zitiert von https://platform.claude.com/docs/en/build-with-claude/prompt...

> Zum Beispiel fand Fable 5.1 bei Tests der Investmentfirma Millennium die Ursache eines seltenen Absturzes in ihren internen Systemen, den keiner ihrer Ingenieure (oder irgendein anderes Modell) nach mehreren Jahren des Versuchens erklären konnte.

Sagt, was ihr wollt über LLM-generierten Code, aber Geschichten wie diese geben mir Hoffnung, dass Software nie wieder so fehlerhaft sein wird wie früher.