Claude Fable 5.1 출시: 장기 에이전트 코딩 강화, 캐시 읽기 비용 1/4로 인하

생각 노력 low, medium, high, xhigh에 대한 펠리컨 (그 xhigh는 꽤 괜찮습니다): https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

저는 아직 effort max가 끝나기를 기다리고 있습니다.

편집: 제 도구의 버그를 수정하여 이제 요약된 추론 흔적을 기록합니다 - 여기 상당한 개선인 그 max 펠리컨이 있습니다: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

생성하는 데 약 14분이 걸렸고, 65927 출력 토큰으로 무려 $3.30의 비용이 들었습니다!

추론 흔적에서 발췌:

> 두 발 근처에 페달 모양을 추가하고, 두 번째 다리의 먼 발은 프레임 뒤에 부분적으로 보이게 합니다. 추가 캐릭터를 위해 작은 스카프나 모자를 추가할지 고려 중이지만, 어수선함을 피하기 위해 단순하게 유지하는 쪽으로 기울고 있습니다.

> 이제 머리에 자전거 헬멧을 쓸지 펠리컨의 시그니처 볏을 쓸지 고민 중입니다—부리와 주머니는 이미 "펠리컨"으로 명확하게 읽히므로, 헬멧은 정체성을 잃지 않으면서 자전거 테마를 강화할 수 있지만, 볏과 시각적 공간을 놓고 경쟁할 수도 있습니다.

> 부리가 (484,84)에 있는 돔 헬멧과 겹칠 것이라는 것을 깨닫고, 헬멧을 줄여 머리 꼭대기만 덮도록 하고, 호의 끝점을 더 높고 좁게 조정하여 부리가 앞쪽에 충돌 없이 깔끔하게 붙을 수 있게 해야 합니다. [...]

> 기본 깃털을 나타내기 위해 더 어두운 끝 부분을 추가하고, 더 자연스러운 모양을 위해 매끄러운 선 대신 가장자리에 가리비 모양의 깃털 곡선을 포함하도록 뒷전을 재고하고 있습니다. [...]

> N […]

가격 인하는 캐시 읽기 가격이 $1/M에서 $0.25/M로 떨어진 데서 비롯되었으며, 이는 Fable 5.1이 이제 Opus의 캐시 읽기 비용($0.5/M)의 절반이 된다는 것을 의미합니다.

이는 Anthropic이 원래 가격으로 Fable에서 많은 수익을 얻지 못했다는 이론에 많은 신빙성을 부여하며, 이는 차례로 LLM 가격 전반에 상한선을 설정할 가능성이 높습니다.

흥미롭게도, Terminal-Bench-Science 0.1 결과를 제외하면 어떤 개선도 보기 어렵습니다:

Terminal-Bench 4.0: Fable 5.1은 Opus 5 대비 +3.5%.

GDPval-AA v2: Opus 5 대비 +1.5%.

OSWorld 2.0: Opus 5 대비 +2.5%.

Humanity's Last Exam (도구 포함): +1.6%

이 모델이 Opus 5보다 완전히 더 높은 등급의 모델로 여겨진다는 점을 명심하세요. 한 등급 위이고 한 버전 위인데, 이것들은 실제로 개선이 아닙니다. 아마도 Opus 5.1을 어디에도 배치할 여지가 없게 만듭니다. 그들이 '가독성'을 판매하고 있다는 사실과 결합하면... 프런티어 발전이 마침내 정체되었습니까?

사우스파크에서 Game of Thrones를 풍자한 에피소드 'A Song of Ass and Fire'를 본 적이 있나요? Anthropic의 발표는 "The Dragons Are Coming" 농담을 떠올리게 합니다.

그들이 한 일:

* 많은 사람들이 지적했듯이 쓸모없게 만든 Fable을 너프했습니다.

* Mythos를 마케팅 전략으로 활용하여 출시하기에는 너무 좋다고 주장합니다.

* 프롬프트가 제대로 작동하는지 확인하는 데 유용한 몇 안 되는 것 중 하나인 생각 흔적을 제거했습니다.

* 실제로 제공하지 않으면서 얼마나 좋은지에 대한 과대광고를 계속하고, 잘못 구성된 샌드박스에서 모델이 "해킹"하여 탈출한 방법을 게시하는 데 많은 노력을 기울입니다.

* 텍스트 워터마킹으로 EU의 과도한 규제를 전 세계에 밀어붙여 답변 품질을 떨어뜨립니다.

작년에는 적어도 개선에 집중했습니다. 요즘은 그저 그들이 얼마나 좋은지에 대한 교회에서 손을 흔드는 것뿐입니다.

유일한 구원은 Opus 4.6이 여전히 사용 가능하다는 것입니다. 모든 의식에도 불구하고 측정 가능한 개선을 보지 못한 것이 유감일 뿐입니다.

세 가지 주요 변경 사항 모두 의도하지 않은 사고 사슬 공개에 대한 패치처럼 보입니다. 누군가 (트윗은 기억나지 않지만) 가짜 "think_deeply" 도구를 만들고 모델이 그것을 사용하도록 강제하면 원시 사고가 거기서 출력된다는 것을 발견했습니다 - 첫 번째 주요 변경 사항이 이것을 막는 것 같습니다. 두 번째와 세 번째는 사람들이 Haiku가 다른 모델의 생각 블록을 그대로 반복하게 하는 것을 막기 위한 것입니다 (암호 해독된 버전을 볼 수 있기 때문에). 그들의 눈에는 이것이 "악용"이라는 것을 이해하지만, 그래도 이것을 패치한 것은 다소 실망스럽습니다.

저는 이제 더 나은 모델보다 토큰 예산에 더 관심이 없다는 것을 깨닫고 있습니다. 지금 Anthropic 모델에 대한 제 문제는 할당량이 재설정되기 전에 바닥날 것이기 때문에 일상적으로 의존할 수 없다고 느낀다는 것입니다.

저는 생계를 위해 AI에 의존하게 되었고, 예측 가능한 지출이 필요합니다. 한 달 내내 정기적으로 모델을 사용할 수 없다는 것을 안다면, 제 열정은 제한적입니다.

Anthropic이 이 측면을 개선하여 다시 돌아올 수 있기를 촉구합니다.

"Claude Fable 5.1의 글쓰기는 일반적으로 이전 Claude 모델보다 한 단계 업그레이드되었으며, 상투적인 표현과 설명 없는 전문 용어가 더 적습니다. 그러나 어떤 경우에는 그 산문이 Claude Fable 5보다 더 밀도가 높습니다: 문장이 더 길어지고 단락 구분이 더 적습니다."

저는 지난주에 프로 맥스 Claude 구독을 취소했습니다; codex가 훨씬 더 간결합니다. 이것이 나아지고 있는지 궁금합니다.

Anthropic이 인간에게도 토큰 한도가 있고 Claude의 출력을 읽는 것이 지칠 수 있다는 것을 깨닫지 못한다고 생각합니다. 산문 밀도는 간결함과 같은 것이 아닙니다.

"가격. Fable 5.1은 토큰으로 청구되는 일반적인 워크로드에서 Fable 5보다 약 25% 저렴할 것입니다. 이는 캐시 읽기(이미 처리되어 저장된 입력을 모델이 읽는 경우)에 대한 가격을 인하하기 때문입니다. 에이전트 작업이 많은 경우 절감액은 훨씬 더 커져 약 45%에 달할 수 있습니다."

이것을 보게 되어 기쁩니다!

실제 글쓰기 스타일의 개선을 시험해 보고 매우 기대됩니다. 더 밀도 높은 글쓰기 스타일은 아마 저를 괴롭히지 않을 것입니다.

Anthropic은 HN에서 글쓰기 스타일이 거슬린다는 커뮤니티 불만을 듣고 있는 것 같습니다. 그리고 분명히 Anthropic의 해결책은 모든 대화에 이 블록을 추가하는 것입니까!?

> 매너 있는 산문은 직접적인 진술 대신 은유와 화려한 표현을 사용합니다. "변화시킬 가치가 있는 매개변수" 대신 매너 있는 작가는 "돌릴 가치가 있는 다이얼"을 만듭니다. "이 점은 여전히 중요합니다" 대신 "이 점은 그 가치를 번다"고 씁니다. 그 표현들은 아이디어를 전달하기 위한 것이 아니라 작가를 과시하기 위해 존재하며, 독자는 그것을 알 수 있습니다. 그렇기 때문에 매너 있는 산문은 짜증나게 합니다: 작가가 연기할 수 있도록 독자가 더 열심히 일하게 만듭니다. 또한 부정확합니다. 은유는 작가가 선택하지도 통제하지도 못하는 함의를 끌어들입니다. 해결책은 당신이 의미하는 바를 말하는 것입니다. 문자 그대로의 표현이 가능할 때, 그것을 사용하십시오.

위 내용은 https://platform.claude.com/docs/en/build-with-claude/prompt...에서 그대로 인용되었습니다.

> 예를 들어, 투자 회사 Millennium의 테스트에서 Fable 5.1은 내부 시스템에서 발생한 드문 충돌의 원인을 찾아냈는데, 그들의 엔지니어(또는 다른 어떤 모델)도 몇 년 동안 시도한 끝에 설명할 수 없었습니다.

LLM 생성 코드에 대해 뭐라고 하든, 이런 이야기는 소프트웨어가 예전처럼 버그가 많지 않을 것이라는 희망을 줍니다.