Anthropic не может привлечь пользователей к своей лучшей модели, пока дешёвые инструменты процветают

Где Anthropic облажались, так это в том, что отнеслись к монетизации так же, как к обучению моделей. Оказывается, успех в экспериментах не переносится.

Они пытались найти максимум, который рынок готов платить за SOTA-модели; однако для потребителя это просто слишком запутанно и тревожно:

«Вы можете использовать Fable только неделю в рамках вашего плана»

«Приготовьтесь! Вам придётся платить за токены!»

«Забудьте! Мы продлили это ещё на пару недель»

«Подождите, теперь это до половины вашего использования»

«Ладно, теперь это...»

Большинство людей хотят не заботиться об этом. Мы хотим, чтобы наш ИИ был как электричество — просто есть, независимо от того, насколько легко или сложно его поставлять. Вы не хотите, чтобы ваша энергокомпания была на грани отключения в любую секунду.

Вот такой Anthropic. Вы не чувствуете, что они хотят предоставить вам надёжный сервис за, пусть и премиальную, цену. Это постоянная игра в торг. Это заставляет людей смотреть за пределы «огороженного сада». Там они находят модели, которые вполне сносны... и без этих фокусов.

Они загнали себя в угол. Fable была слишком хороша, и они раздали её по тарифу $20. Нужен был большой шаг от Opus 4.8, чтобы показать прогресс, и Opus 4.8 ОТЛИЧНО справляется с кодингом в самых разных областях.

Но их убивает стоимость токенов. Им нужно, чтобы люди платили больше за токены. Поэтому они поместили Fable в тариф $200 и выпустили Opus 5. Я подозрителен к Opus 5. Он в основном хуже, чем 4.8. Похоже, они его придушили, чтобы создать большую дистанцию между ним и Fable.

И что сделало большинство из нас? Осталось на Opus 4.8. Статистика это подтверждает. 4.8 по-прежнему доминирует.

Теперь они в тупике. Если они уберут 4.8, все взбунтуются. Если они сделают Opus 5.x лучше, чем 4.8, они демотивируют всех переходить на Fable и, что важнее, платить больше.

На самом деле, всё, что им остаётся, — это проглотить убытки и позволить 4.8 оставаться вершиной тарифа Pro за $20 на обозримое будущее, пока они изо всех сил работают над тем, чтобы Fable стала НАСТОЛЬКО лучше, что оправдает те $200 до бесконечности, которые они на самом деле хотят, чтобы все платили.

Mythos? Это только для супер-особых корпораций, вам не светит. Fable? Даже посмотреть на неё нельзя без блокировок по кибербезопасности. И даже если вы это преодолеете, она ограничена <50% использования. Мне понадобился месяц, чтобы завершить обзор Fable на моём проекте.

Такая скупость. Даже с недавними проблемами OpenAI с использованием, они всё равно настолько лучше Anthropic, что это даже не смешно. Я перезапустил проверку кода с Sol в качестве бенчмарка, и оказалось, что производительность Sol находится в пределах 70%-90% от Fable. У Anthropic по-прежнему лучшая модель, но какая разница, если я едва могу её использовать?

Ого, настроения здесь такие негативные.

Я на тарифе $200 (работа платит), и у меня также есть тариф OpenAI за $20 (я плачу) и держу баланс на OpenRouter.

Нет ничего лучше, чем Fable, даже близко.

Недавно я запустил на ней 18-часовую автономную перестройку проекта (переход с Spark на Pandas из-за компромисса производительность/размер данных).

Она безупречно оркестрировала субагентов Opus в течение 18 часов. Она даже отлично справилась с управлением количеством агентов, чтобы уложиться в 5-часовые бюджеты (думаю, мне пришлось перезапустить дважды).

После 18 часов я прогнал цикл /simplify, /code-review, /simplify, который занял ещё 6 часов.

2 миллиарда токенов (смесь Opus и Fable), 24 часа непрерывного кодинга и результат без багов. По ценам API это стоило бы $2000, и каждый цент оправдан.

Способность Fable удерживать другие модели на верном пути при работе над такими долгосрочными целями намного лучше, чем у чего-либо ещё.

Далеко не кастрированная, у меня никогда не было отказов по кибербезопасности, и английский Fable на самом деле читабелен (в отличие от Opus 5).

Кстати: хотя я ненавижу читать английский Opus 5, он всё же заметно лучшая модель, чем Sol, по моему опыту.

Но я бы пережил потерю Opus 5, если бы вместо него получил Sol. Но нет ничего даже близкого к Fable.

Нам так и не дали обновлённую модель Haiku, и это позор. Не всем и не всему нужны знания/рассуждения уровня PhD; на самом деле очень редко нужен уровень знаний/рассуждений Fable для подавляющего большинства пользователей...

Я не пользователь LLM. Почему? Помимо экологических проблем, мне очень некомфортно отдавать коронные активы моей организации {случайной_интернет_корпорации}. Посмотрите, на что они идут ради тренировочных данных — 10 миллионов за журналы звонков Spirit? Уничтожение миллионов редких книг, чтобы их отсканировать? Они заставят метамфетаминовых наркоманов выглядеть щепетильными.

Ваши промпты, особенно если они содержат всю вашу кодовую базу, _намного_ более насыщены данными, чем телефонный звонок авиакомпании или роман 1920-х. Так что они _будут_ на них обучаться, независимо от того, сколько галочек вы поставите, чтобы это остановить. Это и коммерческий риск, и огромная новая поверхность атаки.

Это касается не только разработчиков ПО; если юридические фирмы не будут _очень_ осторожно контролировать свои промпты в публичных LLM, они могут ожидать солидных исков о нарушении конфиденциальности клиентов. На самом деле, любая организация в конкурентной среде должна беспокоиться: Acme Bolts: «Напиши мне презентацию для Zoom Construction». Beta Bolts: «Проводит ли Acme Bolts питч для Zoom Construction?»

Возможно, это отчасти объясняет, почему OpenAI и Anthropic сталкиваются с более мягким спросом, чем им хотелось бы. И почему модели с открытым весом, которые организации могут запускать на выделенном оборудовании, процветают.

Для многих программистов, включая меня, агенты кодинга на основе LLM работают достаточно хорошо, чтобы быть полезными, а в некоторых случаях стоить того, чтобы за них платить.

Чего я не вижу, так это огромных областей промышленности, находящих десятки или сотни миллиардов долларов ценности в LLM. Нет такого линтера или компилятора, который мог бы проверить правильно составленные контракты. Поэтому LLM, которые должны быть полезны юридическим фирмам, требуют гораздо больше ручной проверки своей работы, чем агенты кодинга.

Менее формальное создание документов в других отраслях, вероятно, имеет меньше структуры. Это может не иметь значения в некоторых ситуациях, но мне трудно придумать пример навскидку.

OpenRouter — это ответ: получайте нужный интеллект и имейте гибкость, чтобы не попасть в ловушку.

Трансформерные модели быстро становятся товаром, и я подозреваю, что со временем мы все будем запускать их локально. Даже сейчас вы можете запустить что-то довольно полезное на видеокарте с 16 ГБ, и я подозреваю, что через десять лет начальное оборудование будет запускать модели лучше, чем сейчас могут высококлассные видеокарты, поскольку начальное оборудование становится лучше, а модели — эффективнее.

Это не значит, что размещённые передовые модели не будут существовать, они просто станут редкостью. Это ничем не отличается от любого другого товарного рынка: например, большинство автомобилей — дешёвые массовые модели, редкие люди покупают дорогие люксовые автомобили, а бизнес покупает дорогие грузовики и специализированное оборудование.