Рекреация Minecraft — это не бенчмарк

Recreating Minecraft Is Not a Benchmark

Автор разбирает, почему вирусные демо вроде «воссоздай Minecraft одним промптом» или «пеликан на велосипеде» стали бесполезны для оценки ИИ-моделей. Он называет их «демо-бенчмарками»: эффектные, но конечные задачи, к которым лаборатории легко готовятся к каждому релизу, что измеряет подготовку, а не реальные способности. Та же проблема затрагивает открытые тесты: статические наборы вроде Artificial Analysis утекают в обучающие данные, из-за чего меньшие модели обгоняют флагманов. В качестве альтернативы автор указывает на закрытые и ротационные тесты (LiveBench, ARC-AGI, Humanity's Last Exam), но признаёт, что демо остаются лучшим способом быстро показать прогресс. Главный вывод: демо-бенчмарки — отличный контент, но не мерило качества.