Claude Fable 5.2, 30시간 만에 페르마의 마지막 정리 형식화 완료

> 페르마의 마지막 정리에 대한 우리의 첫 형식화는 공개되지 않은 연구용 버전의 Claude가 수행했으며 11일이 걸렸다. 그것은 목적에 맞게 제작된 하네스와 인간 연구자의 안내에 의존했다. 이와 대조적으로, 1,000개의 Fable 5.2 에이전트 팀은 최소한의 인간 개입으로 단 30시간 만에 정리를 완전히 형식화했다. Fable 5.2는 최소한의 프롬프트에서 시작했고, 스스로 조정 방식을 구축했으며, 수학적 참고 자료는 전혀 사용하지 않고 진행 상황을 채점하기 위한 중간 정리 목록만 사용했다. 우리의 첫 형식화에 비해 3분의 1의 액션 토큰만 필요로 했고, 7배 더 짧은 증명을 만들어냈다. 아래 그림에서 볼 수 있듯이, Opus 5.5(동일한 1,000-에이전트 설정)는 18시간 만에 형식화의 26%만 완료했고, 30시간 이후에는 거의 더 이상 진전을 이루지 못했다.

대부분의 사람들은 지금 최전선을 밀어붙인다는 것이 무엇을 의미하는지에 대해 진정한 직관을 갖고 있지 않다(예를 들어 AI가 그들이 잘하는 모든 것, 즉 코딩을 능가했기 때문에). 우리는 진정으로 특이점 안에 있다(커즈와일의 정의를 약간 바꿔 말하면 — 기술이 너무 빨리 발전해서 아무도 따라잡을 수 없는 시기).

fable 5.2를 사용해 볼 기회가 있었다. 몇 가지 관찰:

- Anthropic이 마침내 모델 전반에 걸쳐 균형을 잘 맞췄다. 즉: Opus 5.5가 너무 좋아서 Fable 5/5.1 대 Opus 4.8/5 때 느꼈던 Fable FOMO를 더 이상 느끼지 않는다. 그리고 Sonnet 5.5는 때때로 Opus를 잊게 만든다.

- Fable은 좋지만, Opus 5.5와의 적절한 차이를 보려면 프롬프트의 야망을 정말로 밀어붙여야 한다. 개인적으로 평범한 코딩 작업에서는 Fable 5.2와 Opus 5.5의 차이를 구별하기 어렵다.

- 훨씬 빠르고 안정적이다: fable 5.1의 최악의 점 중 하나는 얼마나 느린지였고, 게다가 최대 출력 토큰 오버플로를 얼마나 자주 겪는지였다. 5.2에서는 이런 문제를 전혀 겪지 않았다.

- Fable은 그림 그리기에 탁월하다. JavaScript로 이미지를 렌더링하는 능력은 실제로 전용 이미지 모델의 가치에 의문을 갖게 만든다. 나는 gpt-image로 만든 것보다 fable/opus가 나를 위해 만들어 준 이미지를 더 선호한다. 우리가 이 지점에 왔다는 게 정말 믿기지 않는다.

- 왜 그들은 Fable xHigh를 Carbon Med와 비교해서 쌓아 올리는가?

- 어떻게 그들은 Carbon에 대해 이용 가능한 모든 벤치마크에 반하는 그런 기이한 노력-지능 곡선을 만들어냈는가?

- 왜 그들은 주로 사이버 모델로 포지셔닝된 Carbon--를 유일한 사이버 벤치마크 비교에서 제외했는가?

- 왜 그들은 robodojo에서 (carbon이 아닌) Argon과 비교하는 것으로 전환하는가?

너프에 대한 논평은 제쳐두고, 세상의 평범한 필멸자들 중에 Fable/Mythos가 정말로 필요하고 Opus 5.5에서는 그냥 잘 작동하지 않는 워크플로를 가진 사람이 있는가?

나는 약 125k줄 규모의 프로젝트에서 꽤 공격적인 소프트웨어 개발을 위해 xhigh의 Opus 5.5를 사용해 왔고, 나에게는 충분히 잘 작동했다. 나는 "프로젝트 전체를 다시 작성하되 실수하지 마라" 수준의 리팩터링에 뛰어들 의향은 별로 없다. 나는 직접 페르마의 마지막 정리를 증명하려는 것도 아니다. 내가 진정으로 놓치고 있는 것이 있는가?

사고 수준 low, medium, high, xhigh에 대한 펠리컨들:

https://tools.simonwillison.net/markdown-svg-renderer?url=ht...

max도 거기 있지만, 실제 SVG에 도달하기 전에 추론 토큰(128,000 한도)이 바닥났다.

이것이 Opus 5.5의 주장된 너프와 시기가 겹치는가?

https://news.ycombinator.com/item?id=50422069

나만 그런지 모르겠지만, 나는 Claude의 글쓰기 스타일이 GPT나 Gemini에 비해 형편없다고 느꼈다. 그것은 "똑똑"하지만, 소통하는 방식이 다른 모델들에 비해 어딘가 어긋나 보인다.

"Fable 5.2"라는 이름은 불필요하게 혼란스러운 버전 관리다.

Haiku, Sonnet, Opus는 5.5인데 더 높은 등급이 5.2에 있다는 것은 이제 개발자들이 팀에게 왜 5.5에서 5.2로 옮기는 것이 업그레이드인지 설명해야 한다는 뜻이다

"테스터들은 Fable 5.2와 Mythos 5.2가 과거 Fable 및 Mythos 모델보다 더 명확하게 소통한다는 것을 발견했다. 그들은 Claude Fable 5.1과 Claude Mythos 5.1보다 최대 30% 더 빠르게 출력을 생성하며, 더 낮은 가격으로 제공된다: 입력 토큰 백만 개당 $8, 출력 토큰 백만 개당 $40."

솔직히 모든 벤치마크를 이기면서 동시에 더 저렴하게 만들었다는 게 믿기지 않는다. 더 낮은 비용으로 개선된 것을 제공하는 모습은 언제나 반갑다.

OpenAI가 이에 대응해 무엇을 할지 흥미로울 것이다