Claude Fable 5.2 набирает 65 баллов в Artificial Analysis — рекорд среди всех моделей
Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far
Claude Fable 5.2 (max) возглавил рейтинг Artificial Analysis Intelligence Index v5.0.1, набрав 65 баллов — больше, чем у любой другой модели на данный момент. Индекс агрегирует девять независимых тестов: от агентной работы в терминале и инженерии в открытых репозиториях до профессионального документного анализа и научных задач. Отдельно оцениваются надёжность знаний и склонность к галлюцинациям, расход токенов и стоимость выполнения одной задачи.
AA-Omniscience v1.1 Net Score измеряет надёжность знаний и галлюцинации: он поощряет правильные ответы, штрафует галлюцинации и не наказывает за отказ отвечать.
- rgbrenner
Забудьте о баллах... посмотрите на Cost Per Task. Fable 5.1 уже был самым дорогим с большим отрывом, а теперь Fable 5.2 удваивает эту цифру! И это с учётом снижения цены.
Количество выходных токенов на задачу просто взорвалось. С 118k токенов (46k Answer/71k Reasoning) в 5.1 до 274k токенов (81k Answer/192k Reasoning) в 5.2.
- oliwary
Круто! Похоже, Fable 5.2 (особенно low и medium) тоже находится на границе Парето между временем на задачу и интеллектом: https://artificialanalysis.ai/models?speed=output-speed-over...
Мне всегда интересно это сравнение, потому что оно показывает, как быстро можно обмениваться сообщениями с моделью, учитывая и токены на задачу, и токены в секунду. Новые модели, похоже, заметно лучше в этом плане.
- brachkow
Просто безумие, насколько дорогая модель у Anthropic по сравнению с вполне способным DeepSeek-Flash.
Хотя они, без сомнения, сделали лучшие модели, их цена в 100 раз выше за несколько процентов улучшения совершенно надумана, и, я думаю, для них это плохо кончится.
- schnitzelstoat
Это выглядит как безумное увеличение стоимости за скромный прирост интеллекта.
Но, возможно, производительность на реальных задачах будет более заметной, чем на бенчмарках.
- djacksondev
Для меня роль Fable всегда была ролью планировщика или рецензента плана, а не чего-то, что отдельные люди или организации использовали бы в качестве основного драйвера. В таком случае, я думаю, эти улучшения кажутся стоящими своих денег? В идеале в этой роли вы хотите самую производительную модель.
Не уверен, означает ли текущий рост, что её использование в такой форме тоже становится экономически невыгодным.
- t0md4n
На 8 баллов выше, чем Astra, при затратах в 4,2 раза больше и в 5 раз большем количестве выходных токенов. Стоит ли оно того?
Редактирование: high, кажется, лучше, чем max.
- gizmodo59
https://artificialanalysis.ai/#intelligence-efficiency-tabs — вот график, который важен для большинства бедных разработчиков и компаний. Парето для заданного индекса интеллекта, и похоже, только openai находится по всему квадранту с muse внизу. Они действительно сделали эффективные модели!
- GMoromisato
Это анекдотично, но я заставляю модель писать сценарий подкаста, где два рецензента обсуждают книгу, главу за главой.
Fable (5.1 и 5.2) стабильно пишет гораздо более короткий сценарий (2,5 страницы) по сравнению с Opus 5.5 (4,5 страницы).
Fable 5.2: https://claude.ai/share/274a96a8-c8a5-4564-9ca1-e914edffc722
Opus 5.5: https://claude.ai/share/da8ab6bd-0987-47dc-9c26-68ebbfb25781