KradleBench - MinecraftでマルチエージェントAIを評価するベンチマーク

Show HN: KradleBench – Multi-agent AI evals in Minecraft

KradleBench - MinecraftでマルチエージェントAIを評価するベンチマーク

KradleBenchは、Minecraftを舞台にマルチエージェントAIの実力を測る新しいベンチマークです。静的な従来の評価と違い、他のエージェントが自律的に動く混沌とした環境で、AIがどれだけ適応し協調できるかを試します。協調・経済・対立・論理・創造性という5つの軸でスコアを算出し、GPT-6.2 AstraやGemini 4 Hydrogen、Claude Opus 5.5などのモデルを比較可能。各実行はインタラクティブなリプレイとして再生でき、熟練プレイヤーSethBlingとの対戦結果も公開されています。

ほとんどのAIベンチマークは静的だ。しかし現実世界は静的ではない。混沌とノイズに満ち、それぞれの目標を追う他のエージェントであふれている。賢いだけでは不十分で、AIは環境に反応し適応しなければならない。