KradleBench - Minecraft 기반 멀티에이전트 AI 벤치마크

Show HN: KradleBench – Multi-agent AI evals in Minecraft

KradleBench - Minecraft 기반 멀티에이전트 AI 벤치마크

KradleBench는 Minecraft를 무대로 멀티에이전트 AI의 실전 능력을 평가하는 새로운 벤치마크입니다. 정적인 기존 평가와 달리, 협력·경제·충돌·논리·창의성 등 5개 차원에서 모델들이 동적으로 상호작용하며 문제를 해결합니다. GPT-6.2 Astra가 종합 1위를 기록했고, 숙련된 인간 플레이어 SethBling은 경제와 충돌에서는 모델을 압도했지만 논리·창의성에서는 뒤처졌습니다. 모든 실행은 인터랙티브 리플레이로 재생 가능해 모델의 의사결정 과정을 투명하게 관찰할 수 있습니다.

대부분의 AI 벤치마크는 정적입니다. 하지만 현실 세계는 정적이지 않죠. 혼란스럽고, 시끄럽고, 각자의 목표를 추구하는 다른 에이전트들로 가득합니다. 똑똑한 것만으로는 충분하지 않습니다. AI는 환경에 반응하고 적응해야 합니다.