Claude Sonnet 5.5 обходит Sonnet 5 в агентном кодинге в семь раз
Anthropic выпустила Claude Sonnet 5.5 — вторую модель в семействе Claude 5.5. Она работает на 30%+ быстрее и стоит до 30% дешевле предшественницы. В бенчмарке Terminal-Bench 4.0 результат вырос с 10,3% до 70,6%. Модель также сильна в работе с документами, таблицами и дизайне, а по безопасности стала первой Sonnet-моделью с киберзащитой уровня Opus.
В раннем тестировании Epic Claude Sonnet 5.5 преодолел ту же планку качества, которую вы ожидаете от модели более высокого уровня, выдержав аудит системного дизайна и обзор потоков данных. Новая модель обработала десятки тысяч строк кода для архитектуры игровых систем, сохраняла быстроту ответов, справлялась с многочасовыми задачами и выдавала результат при меньшем количестве предписывающих подсказок.
- azuanrb
Если вы не используете фронтирные модели вроде Astra, Sol, Fable или Opus, то, я думаю, часто выгоднее брать китайские модели за долю цены. Не уверен, что люди осознают, насколько конкурентоспособными они стали.
GLM и DeepSeek — отличные примеры. Они немного похожи на Linux или Android в том смысле, что не обязательно существует один лучший провайдер. Нужно провести небольшое исследование, попробовать несколько и выбрать то, что лучше всего подходит для вашего случая.
Думаю, отчасти поэтому Anthropic уже какое-то время так усиленно продвигает свои самые дорогие модели. Sonnet и Haiku были отличными, но на таком уровне интеллекта им становится гораздо труднее конкурировать по цене с китайскими моделями, которые в основном догнали их.
Главная причина использовать фронтирные модели от Anthropic или OpenAI сейчас — это сочетание интеллекта и скорости. Китайские фронтирные модели всё ещё с трудом могут с этим сравниться, возможно, отчасти из-за ограничений по железу. Но судя по недавним релизам GLM, они, похоже, движутся в правильном направлении.
- Sol-
Наверное, это проблема первого мира, но с эффективностью Opus 5.5 лимитов на плане 5x мне просто хватает для повседневной работы, даже когда я запускаю 2-3 сессии одновременно. Так что я задаюсь вопросом, когда бы я стал использовать Sonnet 5.5.
Большая параллельность для меня не очень практична, если я хочу сохранить хоть какое-то подобие понимания. Возможно, для чисто веб-приложений или фронтенд-задач всё иначе, где результат важнее процесса; у меня там мало опыта (и я также не хочу принижать эти области, возможно, я недооцениваю их сложность).
Так что, как ни удивительно, моя собственная работа по крайней мере пока почти насыщена возможностями модели. Не уверен, как бы я масштабировался дальше. Конечно, я мог бы выполнять все запросы с максимальными усилиями, чтобы просто сжигать токены, но не может же быть, что дело в этом. И для многих задач я не могу определить настолько чёткие критерии успеха или циклы самопроверки, чтобы мне было выгодно позволить агенту (или их флоту) автономно работать целый день.
Так что я понимаю, что это проблема моих навыков, но я не могу быть единственным таким. Интересно, есть ли предел спроса на токены, по крайней мере в краткосрочной перспективе. Кажется, либо они ускорятся к AGI и RSI, где ИИ сможет найти применение токенам, либо в какой-то момент всё выйдет на плато.
Замечу, я так думаю не потому, что я скептик в отношении AGI или считаю, что у интеллекта есть потолок, но для компаний может просто существовать долина экономических трудностей, где предложение токенов опережает спрос, до […]
- abejora
То, что Sonnet 5.5 набирает больше (70.6), чем Opus 5.5 (66.4) в Terminal-Bench, интересно. Я изучил это, потому что это показалось странным.
Оказывается, у Opus 10% его попыток были отвечены резервной моделью из-за защитных механизмов; против всего 1.5% резервных ответов у Sonnet. [1] Так что я бы не стал придавать этому слишком много значения, просто разница в резервных ответах, вероятно, может объяснить разрыв.
[1] Раздел 8.5 системной карты Sonnet 5.5
- wongarsu
«Кибервозможности Sonnet 5.5 — большое улучшение по сравнению с Sonnet 5, поэтому мы развёртываем её с защитными механизмами, аналогичными тем, что на Opus 5.5. Пользователи по-прежнему могут находить и исправлять баги в своём коде в рамках рутинной разработки ПО, но задачи с повышенным риском в кибербезопасности будут заметно перенаправляться на Sonnet 5»
Звучит так, будто по крайней мере для моделей Anthropic мы достигли пика кибервозможностей с Opus 4.8. Всё, что после этого, перенаправляется на модели похуже
- simonw
Пеликаны. У Sonnet 5.5 та же проблема, что и у Opus 5.5: при усилии мышления «max» она сожгла 128 000 токенов мышления (на это ушло 15 минут) и закончились они до того, как она выдала финальный SVG.
https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Вот как сравниваются уровни усилия мышления:
low
27 вход, 1 623 выход, thinking_tokens: 0
1.6284
Длительность: 10138ms (10s)
medium
27 вход, 1 796 выход, thinking_tokens: 0
1.7914 цента
Длительность: 11266ms (11s)
high
27 вход, 2 334 выход, thinking_tokens: 745
2.3394 цента
Длительность: 17376ms (17s)
xhigh
27 вход, 5 730 выход, thinking_tokens: 2535
5.7354 цента
Длительность: 41882ms (41s)
max (не удалось вернуть ответ)
27 вход, 128 000 выход, thinking_tokens: 128000
$1.28
Длительность: 940617ms (15m 40s)
Low и medium оба использовали 0 токенов мышления.
- wkcheng
График стоимости/производительности показывает, что почти во всех конфигурациях она выглядит хуже, чем Opus. Зачем использовать Sonnet 5.5 на xhigh, если вы получите лучшие результаты (более высокий балл, меньшая стоимость) на Opus 5.5 high?
Есть ли хороший сценарий использования? Это не как с Luna, где просто использовать Luna в определённых ситуациях гораздо дешевле/эффективнее.
- MisterMunchkin
Она стоит в 20 раз больше, чем китайские модели, которые я использую. Они мне просто больше не нужны. Конечно, я бы использовал их, если бы был вынужден для работы, но вне этого я им больше не плачу.
И моя работа теперь даже не будет платить за Claude, потому что это так разорительно дорого.
- Jcampuzano2
Я не понимаю, зачем мне реально использовать это вместо просто более низкого или даже аналогичного уровня усилия на Opus, учитывая, что во многих бенчмарках это по сути та же стоимость, если не больше, при любом усилии выше medium.
Конечно, может, это стоит на 30% меньше, чем Sonnet 5, но теперь в большинстве бенчмарков, похоже, они идут вплотную, а в некоторых она фактически обходится дороже Opus.
Может, я что-то упускаю, но анонс, кажется, не даёт обычному человеку особых причин даже задумываться об использовании этого.
- ghoshbishakh
Так Sonnet теперь лучше Fable? Той Fable, которую было слишком опасно выпускать? Я теперь совсем запутался.
- johnmlussier
Плачу $200 в месяц и участвую в их Cyber Verification Program, но не могу использовать Opus 5.5 или Sonnet 5.5 для любой авторизованной работы по баг-баунти. Сразу помечают как `Cyber`.
Это бред. Их защитные механизмы — дерьмо.