Artificial Analysis представила Intelligence Index v5.0 — новый эталон оценки языковых моделей
Artificial Analysis Intelligence Index v5.0
Artificial Analysis выпустила пятую версию Intelligence Index — сводного бенчмарка, который оценивает языковые модели по четырём равным категориям: работа со знаниями, программирование, наука и общие способности. В индекс вошли девять наборов тестов, включая AA-Briefcase v1.1, Terminal-Bench 4.0 и HLE-Diamond. Отдельно измеряются мультиязычность, работа с изображениями и другие возможности. Методика стандартизирована, прозрачна и ориентирована на реальные задачи.
Мы уверены, что это более полезный сводный показатель для сравнения языковых моделей, чем любой другой существующий сегодня метрический показатель.