Интеллект против цены: почему график ArtificialAnalysis вводит в заблуждение, и как выглядит реальная картина
LLMs: Intelligence vs. Cost
Инженер OpenTeams и мейнтейнер Dask анализирует график Intelligence vs. cost от ArtificialAnalysis и объясняет, почему он вводит в заблуждение: логарифмическая шкала скрывает разницу в цене, официальные цены API завышены для open-weights моделей, а локальные модели показаны по датацентровым ценам. Он строит собственные графики с линейной шкалой, ценами OpenRouter и стоимостью электроэнергии для локального запуска, показывая, что разрыв в цене между топовыми моделями (Anthropic, OpenAI) и дешёвыми китайскими (GLM, Qwen) огромен, а прирост интеллекта подчиняется закону убывающей отдачи.
Люди не логарифмичны, и их деньги тоже.
- oliwary
Выглядит отлично! Я также считаю, что скорость должна быть частью метрики (т.е. сколько времени модели нужно, чтобы реально решить задачу). Лично я предпочитаю запускать дорогие модели, такие как Sol, на легких задачах рассуждения, что обычно дает мне хорошие ответы с быстрым откликом.
Для моего стиля программирования (быстрые переписки и исправления) большая разница, если модель отвечает за 1-2 минуты по сравнению с 5-10, и я готов платить немного больше за это.
- themgt
Существует огромная разница в стоимости между самыми современными моделями от Anthropic и OpenAI и гораздо более дешевыми китайскими моделями... Насколько дополнительный интеллект, который покупается за опустошение кошелька, подчиняется закону убывающей отдачи: в то время как инженер или ученый высшего уровня, вероятно, сможет оценить, насколько лучше Fable 5.1 [является]... большинству людей будет трудно это понять.
Nebari официально указан как продукт JATIC в рамках инструментария нового поколения, поддерживающего разработку ИИ для Министерства обороны.
Мы официально на расстоянии одного рукопожатия от Кевина Бэкона до того, как Министерство обороны одобрит запуск китайских OSS-моделей, потому что они размещены самостоятельно, и мы все слишком глупы, чтобы заметить разницу?
https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
Жалоба на невозможность переключения между линейной и логарифмической шкалой обоснована, именно это я и сделал для создания 3D-приложения, показывающего границу скорость/стоимость/качество для недавнего доклада на встрече: https://www.williamangel.net/apps/model_performance.html
Поскольку скорость важна, так как рассуждения и оборудование определяют как стоимость, так и скорость, это трехмерный компромисс.
- akazantsev
> В большинстве случаев это нормально, но для моделей с открытыми весами это может быть гораздо дороже, чем аренда той же самой модели у сторонних API-провайдеров.
Отфильтруйте по квантованию, и у большинства провайдеров будет одинаковая цена. Существует некая «базовая» цена даже для моделей с открытыми весами. Что-либо дешевле означает какие-то уловки на стороне провайдера.
- vb-8448
Жаловаться на «плохую визуализацию» и при этом публиковать график с осью Y, которая не начинается с 0, довольно странно.