Claude Fable 5.1：長期的エージェントコーディングとマルチステップ調査を強化、価格は据え置きでキャッシュ読み取りは4分の1に

思考努力の低、中、高、そしてxhigh(そのxhighはかなり良い)のためのペリカン: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

私はまだ努力maxが終わるのを待っています。

編集: 私のツールのバグを修正したので、要約された推論トレースを記録するようになりました。これがそのmaxペリカンで、大幅な改善です: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

生成にちょうど14分かかり、65927出力トークンで私にはかなりの3.30ドルの費用がかかりました!

推論トレースからの抜粋:

> 両足の近くにペダルの形を追加し、遠い方の足はフレームの後ろに部分的に見えています。キャラクターを増やすために小さなスカーフやキャップを追加するかどうか検討していますが、ごちゃごちゃを避けるためにシンプルに保つ傾向があります。

> 今度は頭に自転車用ヘルメットをかぶせるか、ペリカンの特徴的なとさか(くちばしと袋はすでに「ペリカン」と明確に読める)にするかで議論しています。ヘルメットは自転車のテーマを強化できますが、視覚的スペースでとさかと競合するかもしれません。

> くちばしが(484,84)でドーム型ヘルメットと重なることに気づいたので、ヘルメットを頭のてっぺんだけを覆うように縮小し、円弧の端点を高く狭く調整して、くちばしが正面で衝突せずにきれいに取り付けられるようにする必要があります。 [...]

> 初列風切羽を表すために暗い先端領域を追加し、その後、後縁を滑らかな1本の線ではなく扇形の羽毛の曲線を含むように再考して、より自然な外観にしています。 [...]

> N […]

価格引き下げは、キャッシュ読み取り価格が$1/Mから$0.25/Mに下がったことによるもので、Fable 5.1のキャッシュ読み取りコストはOpusの半分($0.5/M)になります。

これは、Anthropicが当初の価格設定でFableにあまり食いつきがなかったという理論を強く支持しており、それがおそらくLLM価格全体に上限を設けることになります。

興味深いことに、Terminal-Bench-Science 0.1の結果を除けば、改善が見られるのは難しいです:

Terminal-Bench 4.0: Fable 5.1はOpus 5に対して+3.5%。

GDPval-AA v2: Opus 5に対して+1.5%。

OSWorld 2.0: Opus 5に対して+2.5%。

Humanity's Last Exam(ツール使用): +1.6%

これがOpus 5よりも完全に上位のモデルであるはずだということを心に留めておいてください。1段階上で1バージョン上であることを考えると、これらは本当の改善ではありません。おそらく、Opus 5.1をどこにも配置する余地はありません。彼らが「読みやすさ」を売りにしているという事実と合わせて...ついにフロンティアの進歩は停滞したのでしょうか?

3つの破壊的変更はすべて、意図しない思考連鎖の開示に対するパッチのようです。誰かが(ツイートは手元にありませんが)偽の「think_deeply」ツールを作成し、モデルにそれを使うように強制すると、そこに生の思考と思われるものが出力されることを発見しました。最初の破壊的変更はこれを止めるものだと思います。2番目と3番目は、Haikuが他のモデルからの思考ブロックを逐語的に繰り返すことを狙ったものです(復号化されたバージョンを見ることができるため)。彼らの目にはそれが「エクスプロイト」であることは理解できますが、これをパッチしたのはやはり残念です。

サウスパークの「ゲーム・オブ・スローンズ」をネタにしたエピソード「A Song of Ass and Fire」を見たことはありますか? Anthropicの発表は「The Dragons Are Coming」という繰り返しのジョークを思い出させます。

彼らがやったこと:

* Fableを弱体化させた。多くの人が指摘するように役に立たない

* Mythosをマーケティング戦略として利用し、リリースするには良すぎると主張

* プロンプトが正しく機能しているか確認するための数少ない有用なものの一つである思考トレースを削除

* 実際に提供せずに自分たちがどれだけ優れているかについての誇大広告を続け、自分たちが誤設定したサンドボックスからモデルが「ハッキング」して脱出した方法を公表するために多大な努力をする

* テキスト透かしでEUの過剰規制を世界の他の地域に押し付け、回答の質を低下させる

昨年は、少なくとも改善に焦点を当てていました。今では、自分たちがどれだけ優れているかという教会での手振りばかりです。

唯一の救いはOpus 4.6がまだ利用可能であることです。儀式にもかかわらず、測定可能な改善が見られないのは本当に残念です。

私は今、より良いモデルよりもトークン予算に興味がなくなってきていることに気づいています。Anthropicモデルに関する私の問題は、クォータがリセットされる前に枯渇してしまうため、毎日使うものとして頼りにできるとは感じられないことです。

私はAIに依存して生計を立てるようになっており、予測可能な支出が必要です。モデルを毎月定期的に使えないと分かっているなら、熱意は限定的です。

Anthropicにはこの側面を改善して、戻ってこられるようにしてほしいと強く望みます。

「Claude Fable 5.1の文章は概して初期のClaudeモデルより一歩進んでおり、決まり文句や説明のない専門用語が少ない。ただし、場合によっては、その散文はClaude Fable 5よりも密度が高く、文が長く、段落の区切りが少ない。」

先週、Pro MaxのClaudeサブスクリプションを解約しました。Codexははるかに簡潔です。これが改善されているかどうか気になります。

Anthropicは人間にもトークン制限があり、Claudeの出力を読むのは疲れることがあると気づいていないと思います。散文の密度は簡潔さと同じではありません。

「価格。Fable 5.1は、トークン単位で課金される典型的なワークロードで、Fable 5よりも推定25%安くなります。これは、キャッシュ読み取り(モデルがすでに処理され保存された入力を読み取る場合)の価格を引き下げるためです。高度にエージェント的な作業では、節約はさらに大きくなることが多く、最大で約45%になります。」

これは嬉しい!

実際に試して、文体の実際の改善を見るのがとても楽しみです。密度の高い文体はおそらく気にならないでしょう。

Anthropicは、文体が不快だというHNのコミュニティの苦情に耳を傾けているようです。そしてどうやらAnthropicの解決策は、すべての会話にこのブロックを追加することなのでしょうか!?

> 気取った散文は、直接的な表現の代わりに比喩と華やかさを用いる。「変える価値のあるパラメータ」の代わりに、気取った書き手は「回す価値のあるダイヤル」を生み出す。「この点は今でも重要だ」の代わりに、「この点は存在価値を稼ぐ」と書く。これらのフレーズは、アイデアを伝えるためではなく、書き手を披露するために存在し、読者はそれを見抜く。だから気取った散文は苛立たせるのだ。それは、書き手が演じるために読者により多くの労力を強いるからだ。また、不正確でもある。比喩は、書き手が選んでおらず制御できない含意を引きずり込む。修正方法は、言いたいことを言うことだ。文字通りの表現が利用可能なときは、それを使うこと。

上記はhttps://platform.claude.com/docs/en/build-with-claude/prompt...から逐語的に引用しました。

> 例えば、投資会社ミレニアムによるテストで、Fable 5.1は社内システムで発生した稀なクラッシュの原因を突き止めました。それは、彼らのエンジニア(または他のどのモデル)も数年間の試行の末に説明できなかったものです。

LLMが生成したコードについて何と言おうと、このような話は、ソフトウェアがかつてほどバグだらけになることは決してないだろうという希望を私に与えてくれます。