Claude Fable 5.1 и Claude Mythos 5.1: новые модели Anthropic для кодинга и науки

Пеликаны для усилия мышления: низкое, среднее, высокое и очень высокое (этот очень высокий довольно хорош): https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

Я всё ещё жду завершения усилия max.

ПРАВКА: Я исправил ошибку в своём инструменте, так что теперь он записывает сокращённые трассировки рассуждений — вот этот пеликан max, который является значительным улучшением: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

На генерацию ушло чуть меньше 14 минут, и при 65927 выходных токенах это обошлось мне в целых 3,30 доллара!

Выдержки из трассировки рассуждений:

> Добавляю формы педалей возле обеих ног, причём дальняя нога на второй ноге частично видна за рамой. Я обдумываю, не добавить ли маленький шарф или кепку для дополнительного характера, но склоняюсь к тому, чтобы оставить всё просто, чтобы избежать загромождения.

> Теперь я размышляю о велосипедном шлеме на голове против фирменного гребня пеликана — клюв и мешок уже ясно читаются как «пеликан», поэтому шлем мог бы усилить велосипедную тему, не теряя идентичности, хотя он может конкурировать с гребнем за визуальное пространство.

> Я понимаю, что клюв в точке (484,84) будет пересекаться с куполообразным шлемом, поэтому мне нужно уменьшить шлем так, чтобы он покрывал только верх головы, скорректировав конечные точки его дуги так, чтобы они располагались выше и уже, чтобы клюв мог чисто крепиться спереди без столкновения. [...]

> Я добавляю более тёмную область на кончике, чтобы изобразить маховые перья, затем пересматриваю заднюю кромку, чтобы включить зубчатые изгибы перьев вместо одной гладкой линии для более естественного вида. [...]

> N […]

Снижение цены происходит из-за падения цены чтения кэша с $1/M до $0,25/M, что означает, что Fable 5.1 теперь стоит половину стоимости чтения кэша Opus ($0,5/M).

Это во многом подтверждает теорию о том, что Anthropic не получила большого отклика на Fable по его первоначальной цене, что, в свою очередь, вероятно, устанавливает потолок для цен на LLM в целом.

Интересно также, что если убрать результаты Terminal-Bench-Science 0.1, то трудно увидеть КАКИЕ-ЛИБО улучшения:

Terminal-Bench 4.0: Fable 5.1 на +3,5% по сравнению с Opus 5.

GDPval-AA v2: +1,5% по сравнению с Opus 5.

OSWorld 2.0: +2,5% по сравнению с Opus 5.

Humanity's Last Exam (с инструментами): +1,6%

Имейте в виду, что это supposedly совершенно более высокий уровень модели, чем Opus 5. Для одного уровня выше и одной версии выше — это не совсем улучшения. Вероятно, не оставляет места для размещения Opus 5.1 где-либо. В сочетании с тем, что они продают «читабельность»... Неужели прогресс на переднем крае наконец остановился?

Кто-нибудь видел эпизод Южного Парка, высмеивающий Игру престолов: Песнь льда и пламени? Объявления Anthropic напоминают мне шутку «Драконы грядут».

Что они сделали:

* Занерфили Fable, как многие заметили, он бесполезен

* Используют Mythos как маркетинговую стратегию, утверждая, что он слишком хорош, чтобы его выпускать

* Убрали следы рассуждений, одну из немногих полезных вещей, чтобы убедиться, что ваши промпты работают правильно

* Продолжают нагнетать ажиотаж о том, какие они хорошие, ничего не предоставляя, прилагая большие усилия, чтобы опубликовать, как их модель «взломала» выход из песочницы, которую они неправильно сконфигурировали.

* Продвигают кучу чрезмерного регулирования ЕС на весь остальной мир с помощью водяных знаков на тексте, снижая качество ответов

В прошлом году они по крайней мере были сосредоточены на улучшениях. Сегодня это просто размахивание руками в церкви того, какие они хорошие.

Единственное спасение — Opus 4.6 всё ещё доступен. Просто отстойно, что мы не видим никаких измеримых улучшений, несмотря на всю церемонию.

Похоже, все три критические изменения — это исправления непреднамеренного раскрытия цепочки рассуждений. Кто-то обнаружил (не могу найти твит под рукой), что если создать фиктивный инструмент «think_deeply», а затем заставить модель использовать его, она выведет там то, что считается её сырыми рассуждениями — я думаю, первое критическое изменение предотвращает это. Вторые два направлены на людей, заставляющих Haiku дословно повторять блоки рассуждений из других моделей (поскольку она может видеть расшифрованную версию). Я понимаю, что в их глазах это «эксплойт», но всё равно немного разочаровывает, что они это исправили.

Я обнаружил, что теперь меня меньше интересуют лучшие модели, чем бюджеты токенов. Моя проблема с моделями Anthropic сейчас в том, что я не чувствую, что могу полагаться на них как на ежедневный инструмент, потому что они иссякнут до того, как мой лимит сбросится.

Я становлюсь зависимым от ИИ для заработка, и мне нужны предсказуемые расходы на него. Если я знаю, что не могу регулярно использовать модель весь месяц, мой энтузиазм ограничен.

Я призываю Anthropic улучшить этот аспект своего бизнеса, чтобы я мог вернуться к нему.

«Письмо Claude Fable 5.1 в целом на шаг впереди более ранних моделей Claude: меньше шаблонных фраз и меньше необъяснимого жаргона. Однако в некоторых случаях его проза плотнее, чем у Claude Fable 5: предложения длиннее, а абзацев меньше».

Я отменил свою подписку Pro Max на Claude на прошлой неделе; Codex гораздо более лаконичен. Мне любопытно, становится ли это лучше.

Я не думаю, что Anthropic осознаёт, что у людей тоже есть лимит токенов, и читать вывод Claude может быть утомительно. Плотность прозы — это не то же самое, что лаконичность.

«Цена. Fable 5.1 будет стоить примерно на 25% меньше, чем Fable 5, для типичных рабочих нагрузок, где использование тарифицируется по токенам. Это связано с тем, что мы снижаем цены на чтение кэша (когда модель читает входные данные, которые уже были обработаны и сохранены). Для высокоагентных работ экономия часто будет значительно больше — до примерно 45%».

Рад это видеть!

Я буду очень рад попробовать и увидеть реальное улучшение стиля письма. Более плотный стиль письма, вероятно, меня не побеспокоит.

Похоже, Anthropic прислушивается к жалобам сообщества на HN о том, что стиль письма раздражает. И, видимо, решение Anthropic — добавить этот блок в каждый разговор!?

> Манерная проза заменяет прямое высказывание метафорой и цветистостью. Вместо «параметра, который стоит варьировать» манерный писатель выдаёт «циферблат, который стоит повернуть». Вместо «этот момент всё ещё важен» он пишет «этот момент оправдывает своё существование». Эти фразы существуют, чтобы показать писателя, а не передать идею, и читатели это чувствуют. Вот почему манерная проза раздражает: она заставляет читателя работать больше, чтобы писатель мог выступать. Она также неточна. Метафоры притягивают коннотации, которые писатель не выбирал и не контролирует. Исправление — говорить то, что имеешь в виду. Когда доступна буквальная фраза, используйте её.

Выше процитировано дословно с https://platform.claude.com/docs/en/build-with-claude/prompt...

> Например, в тестировании инвестиционной фирмой Millennium Fable 5.1 нашёл причину редкого сбоя в их внутренних системах, которую ни один из их инженеров (или любая другая модель) не смог объяснить после нескольких лет попыток.

Говорите что угодно о коде, сгенерированном LLM, но такие истории дают мне надежду, что программное обеспечение никогда не будет таким багованным, как раньше.