KradleBench - Multi-agent AI benchmark in Minecraft
Show HN: KradleBench – Multi-agent AI evals in Minecraft
KradleBench — это бенчмарк для оценки мультиагентных AI в Minecraft, где модели соревнуются в коллаборации, экономике, конфликтах, логике и креативности. В отличие от статичных тестов, здесь агенты действуют в шумной, динамичной среде, адаптируясь к другим игрокам. Результаты показывают: топ-модели, такие как GPT-6.2 Astra, отлично справляются с координацией и генерацией объектов, но опытный игрок SethBling всё ещё превосходит их в стратегии и конфликтах. Каждый запуск можно воспроизвести как интерактивный реплей. Попробуйте сами и оцените, насколько AI готовы к реальному миру.
Большинство AI-бенчмарков статичны. Но реальный мир не статичен. Он хаотичен, шумен и полон других агентов, преследующих свои цели. Быть умным недостаточно. AI должны реагировать и адаптироваться к окружающей среде.