Рекреация Minecraft — это не бенчмарк
Recreating Minecraft Is Not a Benchmark
Автор разбирает, почему вирусные демо вроде «воссоздай Minecraft одним промптом» или «пеликан на велосипеде» стали бесполезны для оценки ИИ-моделей. Он называет их «демо-бенчмарками»: эффектные, но конечные задачи, к которым лаборатории легко готовятся к каждому релизу, что измеряет подготовку, а не реальные способности. Та же проблема затрагивает открытые тесты: статические наборы вроде Artificial Analysis утекают в обучающие данные, из-за чего меньшие модели обгоняют флагманов. В качестве альтернативы автор указывает на закрытые и ротационные тесты (LiveBench, ARC-AGI, Humanity's Last Exam), но признаёт, что демо остаются лучшим способом быстро показать прогресс. Главный вывод: демо-бенчмарки — отличный контент, но не мерило качества.
Тест, который можно выучить по расписанию, измеряет подготовку, а не способности — это противоречит самому определению бенчмарка.
- bluegatty
Правильный ответ, но неверный тезис.
Пример «лаборатории оптимизируют под это» — неверный тезис.
Произвольная генерация ИИ чего-то «кажущегося сложным» — не так уж сложна; проблема в способности создавать результат по спецификации, которая содержит неизбежно расплывчатые элементы, а затем рационально его модифицировать.
Посмотрите на генерацию изображений: вы нажимаете волшебную кнопку и получаете «Пеликана на велосипеде» — но вы не можете просто поменять «шляпу» пеликана. Вам приходится снова нажимать волшебную кнопку, и вы получаете совершенно другого пеликана на велосипеде.
Это фундаментальная претензия.
Это сродни утверждению, что «написание кода — это и есть работа» — но это не так; работа — это исследование, проектирование, документация, интеграция и все те «ноу-хау», которые должны «где-то находиться», чтобы форму результата можно было адаптировать и лепить.
Произвольный вывод кода не совсем бесполезен, но почти; это те «80%, за которыми следует еще 80%, а затем еще 80%». Это как более удобная отправная точка.
Исследовательские способности ИИ, которые не дают красивых демо, возможно, более мощны.
- 0xb0565e486
Я постоянно вижу, как Astra создает красивые 3D-штуки в интернете, но когда я скармливаю ей старые ассеты RuneScape (даже пробовал с очень подробными инструкциями) и прошу сгенерировать новые правдоподобные ассеты, она с треском проваливается.
Думаю, в текущих (передовых) моделях все еще есть что-то серьезно не так, когда дело касается создания «новых» вещей? Даже графики в стиле 2004 года..
Или я неправильно промпчу?
- orbital-decay
Это звучит неубедительно, потому что а) тест с пеликаном субъективен: там просто нечему утекать, поскольку нет доступных прямых ответов и, возможно, лишь чрезвычайно слабый сигнал предпочтения, и б) те же самые маленькие модели действительно хорошо справляются, если сменить тему. Некоторые модели действительно обучены быть лучше в определенной области, например, в 2D-макетах или векторной графике в данном случае. Все зависит от конкретных рецептов и наборов данных. Это и есть настоящая причина, по которой такие тесты плохи как проверка на ощущение: они никак не разделяют обобщение, запоминание и обучающее предпочтение. Одношаговое воспроизведение популярного ПО, в частности, определенно не является хорошим тестом чего-либо, потому что запоминание будет доминировать.
AAII также не очень полезен, как и любой общий балл/бенчмарк. Если вам нужен прогноз погоды, вы не смотрите на среднюю температуру Земли.
(кстати, когда термин «one-shot» захватили, чтобы означать что-то другое, кроме «один пример»?..)
- hombre_fatal
> В этом проблема: эти тесты больше не могут сказать вам, насколько хороша модель, потому что лабораториям тривиально оптимизировать именно под эти тесты к следующему релизу.
Но они не доказывают это утверждение. Модели потрясающе воссоздают Minecraft, но стоит заменить слово Minecraft на другую игру или кастомную игру — и всё разваливается?
Я такого не вижу. Моя лента полна людей, использующих Astra для воссоздания самых разных игр — от Diablo до какой-нибудь случайной идеи, которую они придумали, — в невероятно отполированных деталях, например, анимации, на которые у меня ушли бы недели итераций в gpt-5.6-sol, а у Astra это был один кадр.
- bloaf
Бенчмарк, который я хочу, чтобы люди приняли:
Постройте симулятор химического процесса на основе технологической схемы в установившемся режиме, затем используйте его для моделирования и оптимизации полномасштабного нефтеперерабатывающего завода.
1) Создание решателя, работающего в таком масштабе, — нетривиальная задача, и успешные решатели больше полагаются на эвристики, чем на какой-то принципиально иной подход.
2) Определение инженерных уравнений, релевантных этой задаче, требует понимания того, какой уровень точности необходим для ответа на вопросы, которые люди задают моделям установившихся процессов.
3) Знание термофизических свойств химикатов и сырой нефти возможно из открытой литературы, но информация разрознена, и разные корреляции применимы в разных ситуациях.
4) Создание GUI, который преобразует технологическую схему в матричную математику, нетривиально, хотя последовательный модульный подход немного проще.
5) Определение крупномасштабных моделей таким образом, чтобы они надежно решались, — это в равной степени искусство и наука. Например, полностью замкнутые рециклы, такие как холодильные системы, — кошмар для решателей, поэтому часто лучше определять их в разомкнутом виде.
6) Оптимизация включает знание соответствующих цен на сырье, но, что более важно, знание того, как задать ограничения модели, чтобы она не предлагала просто производить бесконечный бензин.
7) Устранение неизбежных сбоев сходимости также в равной степени искусство и наука. Существует множество диагностических методов, но в основе своей вам нужно уметь...