Claude Opus 5.5 обходит GPT-6 Astra в новом рейтинге Artificial Analysis, а отрыв открытых моделей вырос до 12 баллов
Artificial Analysis Intelligence Index v5
Artificial Analysis выпустила Intelligence Index v5 — крупнейшее обновление с января. Теперь 60% индекса строится на приватных тестах: добавлены FrontierCode 2.0 от Cognition и Terminal-Bench-Science, обновлены HLE-Diamond, AA-Omniscience и CritPt. Лидирует Claude Opus 5.5 с 58 баллами, за ним GPT-6 Astra (57) и GPT-6.1 Sol (55). Лучшая открытая модель Kimi K3.1 Pro набирает 46, но её веса ещё не опубликованы, а у DeepSeek V4.1 Flash и GLM-5.3 лишь 32 — на 26 баллов меньше лидера. Стоимость одной задачи различается более чем в 13 раз.
Разрыв между открытыми и закрытыми моделями вырос с 3 до 12 баллов: лучшая открытая модель Kimi K3.1 Pro набирает 46, тогда как лидер — 58.
- peri-cl
В статье не раскрывается, что они тихо вырезали несколько открытых моделей из нового бенчмарка. Популярных. Их нет на графиках; их нельзя вручную добавить на графики; и на их индивидуальных страницах моделей теперь отображаются оценки «N/A».
GLM 5.3-flash: N/A
https://artificialanalysis.ai/models/glm-5-3-flash/
Qwen 3.8-flash-next: N/A
- simonjgreen
Возможно, это первый раз, когда я добавил пост в избранное, не проголосовав за него.
Это очень подозрительно. Я бы хотел более подробного объяснения и «мнения» от AA о том, какую проблему, по их мнению, нужно было исправить и почему всё перетасовалось именно так. И как они могут утверждать, что их индекс имеет значение, если позиции можно так легко поменять местами.
- kamov
Выбор естественных языков в мультиязычном индексе кажется мне довольно странным и предвзятым: они попытались охватить широкий спектр азиатских языков, но при этом там около четырёх европейских романских языков. Они не включили ни одного славянского, то есть русского, ни скандинавского, например шведского, ни финно-угорского. А эти романские, вероятно, и так сверхпредставлены в обучающих данных.
- chvid
«Верификатор FrontierCode оценивает каждую попытку с помощью тестов и рубрики задачи. В качестве судьи LLM мы используем GPT-6 Luna (medium)»
Почему они используют закрытую LLM в качестве судьи? Провайдеры закрытых моделей могут видеть ваш трафик и корректировать его по своему усмотрению.
- lousken
Это позор, как сильно они пресмыкаются перед американскими лабораториями, хотя эти модели хорошо работают только первые несколько дней после релиза. С открытыми весами вы можете быть уверены, что качество остаётся прежним, в отличие от закрытого дерьма. Как насчёт повторного теста через некоторое время?