Artificial Analysis v5 ставит открытые модели на восемь позиций позади закрытых
Artificial Analysis v5 and the benchmarker's dilemma
Новая версия Intelligence Index от Artificial Analysis делит оценку на четыре равные части — knowledge work, coding, science и general — и выстраивает рейтинг, в котором лучшую открытую модель Kimi K3.1 Pro обходят сразу восемь закрытых. Автор разбирает, почему такой сдвиг одновременно оправдан и тревожен: индекс всё сильнее измеряет, куда движется фронтир, а не то, где работает экономика открытых моделей. Отдельная тема — переход на приватные бенчмарки и цена доверия к тем, кто их строит.
С тем количеством денег, которое сейчас вращается в экосистеме AI, вес независимой оценки ещё выше — вы определяете победителей и проигравших на рынке стоимостью в триллион долларов.
- lordofgibbons
Хотелось бы, чтобы AA тестировали модели при тех уровнях reasoning, которые люди реально используют. Например, люди, которых я знаю, очень редко используют настройку reasoning "max" — особенно потому, что сам Claude Code отпугивает от её использования. Но все эти бенчмарки для кодинга основаны именно на таком уровне reasoning.
Я понимаю, они могут тестировать только столько-то. Но я бы предпочёл бенчмарк того, как модель реально используется и предлагается клиентам, а не лучшего сценария для неё.
- matesz
"Последний момент, который мне нужно озвучить и который, по сути, льстит закрытым лабораториям, — это то, что такие компании, как Anthropic и OpenAI, перестали заботиться об этих индексах месяцы, а то и годы назад. Их фокус в подавляющем большинстве на поддержке внутренних применений — вроде автоматизации AI R&D — и сценариев использования клиентов, которые тратят миллиарды долларов."
Это правда? Если да, то это имеет большой смысл. Снова и снова, когда я пробую какую-нибудь недавно выпущенную модель с открытыми весами, я разочаровываюсь. Даже некоторые старые модели Claude бьют их по качеству ответов, хотя набирают меньше баллов по интеллекту в бенчмарках.
- chvid
Как AA зарабатывает деньги? Кто их инвесторы?
- pcwelder
Нам просто нужна прозрачность. Ничего страшного, если вы меняете критерии, но заранее зарегистрируйте триггер, по которому вы собираетесь их менять.
Пример мог бы быть таким: мы обновим критерии X, когда top-N моделей окажутся в пределах 2 баллов друг от друга.
- anon373839
AA радикально изменили свою методологию дважды всего за несколько недель. Я уже действительно не вижу смысла в их композитном скоринге — это по сути рейтинг колледжей US News для LLM.
На данный момент LiveBench, похоже, даёт лучше откалиброванный сигнал.