Claude Sonnet 5.5, Terminal-Bench 4.0에서 10.3%에서 70.6%로 도약
Anthropic이 Claude 5.5 패밀리의 두 번째 모델인 Claude Sonnet 5.5를 공개했다. Sonnet 5 대비 30% 이상 빠르고 작업당 비용은 최대 30% 저렴하다. 에이전틱 코딩 평가 Terminal-Bench 4.0에서 10.3%에서 70.6%로 급상승했고, GDPval-AA에서는 Opus 5.5에 근접한다. 스크린샷만으로 Pokémon Red를 깬 첫 Sonnet 모델이며, 사이버 안전장치가 처음 적용됐다.
Epic의 초기 테스트에서 Claude Sonnet 5.5는 상위 티어 모델에서 기대할 법한 품질 기준을 통과했으며, 시스템 설계 감사와 데이터 흐름 검토에서도 견고하게 버텼다. 새 모델은 게임플레이 시스템 아키텍처의 수만 줄에 달하는 코드를 관리하고, 응답 속도를 빠르게 유지하며, 여러 시간에 걸친 작업을 처리했고, 덜 지시적인 프롬프트로도 결과를 냈다.
HN 토론
601- azuanrb
Astra, Sol, Fable, Opus 같은 프론티어 모델을 쓰는 게 아니라면, 나는 보통 중국 모델을 훨씬 싼 가격에 쓰는 게 낫다고 본다. 사람들이 중국 모델이 얼마나 경쟁력 있어졌는지 잘 모르는 것 같다.
GLM과 DeepSeek이 좋은 예시다. 이들은 Linux나 Android와 비슷해서 반드시 하나의 최고 제공자가 있는 게 아니다. 좀 조사해보고 몇 개 써보고, 자기 용도에 가장 잘 맞는 걸 고르면 된다.
내 생각에 Anthropic이 한동안 가장 비싼 모델들을 그렇게 밀어붙인 이유도 일부 여기에 있다. Sonnet과 Haiku는 훌륭했지만, 그 지능 수준에서는 거의 따라잡은 중국 모델들과 가격으로 경쟁하기가 훨씬 어려워지고 있다.
지금 Anthropic이나 OpenAI의 프론티어 모델을 쓰는 주된 이유는 지능과 속도의 조합이다. 중국 프론티어 모델들은 아직 그걸 맞추기 어려워하는데, 아마 하드웨어 제약도 일부 작용하는 듯하다. 하지만 최근 GLM 릴리스들을 보면 올바른 방향으로 가고 있는 것 같다.
- Sol-
일종의 선진국형 문제겠지만, Opus 5.5의 효율성 덕분에 5x 플랜의 한도는 한 번에 2-3개 세션을 돌려도 내 일상 업무에는 충분하다. 그래서 Sonnet 5.5는 언제 쓸까 싶다.
어느 정도 이해를 유지하려면 그보다 더 많은 동시성은 나에게 실용적이지 않다. 순수 웹앱이나 프론트엔드 작업은 결과가 과정보다 중요해서 다를 수도 있겠지만, 그쪽은 경험이 별로 없다(그리고 그 영역을 깎아내릴 생각도 없다. 내가 그 복잡성을 과소평가하고 있을 수도 있다).
그래서 놀랍게도 내 작업은 적어도 당분간은 모델 성능에 거의 포화 상태다. 여기서 어떻게 확장할지 모르겠다. 물론 토큰을 태우려고 일부러 모든 요청을 최대 노력으로 돌릴 수도 있지만, 그게 답은 아닐 것이다. 그리고 많은 작업에서 내가 에이전트(또는 에이전트 무리)를 하루 종일 자율적으로 돌려서 이득을 볼 만큼 명확한 성공 기준이나 자기 검증 루프를 정의하지 못한다.
그래서 내 쪽의 스킬 문제라는 걸 알지만, 나만 그런 건 아닐 것이다. 적어도 단기적으로는 토큰 수요에 한계가 있는지 궁금하다. 그들이 AGI와 RSI로 가속해서 AI가 토큰의 용도를 찾아내거나, 아니면 어느 시점에 정체될 것 같다.
참고로 내가 AGI 회의론자라거나 지능에 상한이 있다고 생각해서 그런 건 아니다. 다만 토큰 공급이 수요를 앞지르는 회사들에게 경제적 고난의 계곡이 있을 수 있다는 것뿐이다, […]
- abejora
Sonnet 5.5가 Terminal-Bench에서 Opus 5.5(66.4)보다 높은 점수(70.6)를 받은 건 흥미롭다. 이상하게 느껴져서 이걸 좀 조사해봤다.
알고 보니 Opus는 안전장치 때문에 시도의 10%가 대체 모델로 답변된 반면, Sonnet은 대체가 1.5%에 불과했다. [1] 그러니 이걸 너무 크게 해석하지는 말자. 대체 비율 차이만으로도 격차를 설명할 수 있을 것 같다.
[1] Sonnet 5.5 시스템 카드 8.5절
- wongarsu
"Sonnet 5.5의 사이버 능력은 Sonnet 5보다 크게 향상되어, Opus 5.5와 유사한 안전장치를 붙여 배포한다. 사용자는 일상적인 소프트웨어 개발의 일부로 코드에서 버그를 찾아 고칠 수 있지만, 더 높은 위험의 사이버보안 작업은 눈에 띄게 Sonnet 5로 대체된다"
적어도 Anthropic 모델에서는 Opus 4.8로 사이버 능력의 정점에 도달한 것 같다. 그 이후의 모든 것은 더 나쁜 모델로 대체된다.
- simonw
펠리컨. Sonnet 5.5는 Opus 5.5와 같은 문제가 있다. "max" 사고 노력에서 128,000개의 사고 토큰을 태우고(그렇게 하는 데 15분 걸림) 최종 SVG를 만들기 전에 한도를 다 써버렸다.
https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
사고 노력 수준별 비교는 이렇다:
low
27 입력, 1,623 출력, thinking_tokens: 0
1.6284
소요 시간: 10138ms (10초)
medium
27 입력, 1,796 출력, thinking_tokens: 0
1.7914 센트
소요 시간: 11266ms (11초)
high
27 입력, 2,334 출력, thinking_tokens: 745
2.3394 센트
소요 시간: 17376ms (17초)
xhigh
27 입력, 5,730 출력, thinking_tokens: 2535
5.7354 센트
소요 시간: 41882ms (41초)
max (응답 반환 실패)
27 입력, 128,000 출력, thinking_tokens: 128000
$1.28
소요 시간: 940617ms (15분 40초)
Low와 medium 모두 사고 토큰을 0개 사용했다.
- wkcheng
비용/성능 차트를 보면 거의 모든 구성에서 Opus보다 나빠 보인다. Opus 5.5 high에서 더 나은 결과(더 높은 점수, 더 저렴한 비용)를 얻을 수 있는데 왜 xhigh에서 Sonnet 5.5를 쓰겠는가?
좋은 사용 사례가 있나? 이건 특정 상황에서 Luna를 쓰는 게 훨씬 저렴하고 효과적인 Luna와는 다르다.
- MisterMunchkin
내가 쓰는 중국 모델보다 20배 더 비싸다. 이제 그게 필요하지 않다. 물론 직장 때문에 강제로 써야 한다면 쓰겠지만, 그 외에는 더 이상 돈을 내지 않는다.
그리고 내 직장도 이제 Claude 비용을 대주지 않는다. 너무나 터무니없이 비싸졌기 때문이다.
- Jcampuzano2
많은 벤치마크에서 medium보다 높은 노력 수준에서는 비용이 사실상 같거나 더 비싼데, 왜 Opus에서 더 낮거나 비슷한 노력 수준을 쓰는 대신 이걸 써야 하는지 이해가 안 된다.
물론 Sonnet 5보다 30% 저렴할 수도 있지만, 이제 대부분의 벤치마크에서 거의 막상막하이고 일부에서는 실제로 Opus보다 비용이 더 든다.
내가 뭔가를 놓치고 있는지 모르겠지만, 이 발표는 일반 사용자가 이걸 쓸 이유를 별로 주지 않는 것 같다.
- ghoshbishakh
그럼 이제 sonnet이 Fable보다 나은 건가? 공개하기에 너무 위험했던 그 Fable보다? 이제 완전히 혼란스럽다.
- johnmlussier
월 200달러를 내고 그들의 Cyber Verification Program에도 참여하고 있는데, 승인된 버그 바운티 작업에 Opus 5.5나 Sonnet 5.5를 쓸 수 없다. 즉시 `Cyber`로 플래그된다.
이건 개소리다. 그들의 안전장치는 형편없다.