KradleBench: 在Minecraft中测试多智能体AI
Show HN: KradleBench – Multi-agent AI evals in Minecraft
KradleBench是一个在Minecraft世界中运行的多智能体AI基准测试平台。它让GPT-6.2 Astra、GPT-6.2 Sol等顶级模型在协作、经济、冲突、逻辑和创意等动态场景中展开真实较量。不同于传统静态评测,KradleBench模拟了嘈杂、多变且充满其他智能体的真实世界,考验AI的适应力与响应速度。无论是构建彩色金字塔、管理农场经济,还是在Skywars中生存,每个任务都可回放为交互式视频。数据显示,虽然SethBling等人类高手在策略与冲突中胜出,但顶尖模型在逻辑与创意任务上已超越人类。
大多数AI基准测试都是静态的,但现实世界并非如此——它混乱、嘈杂,充满了追求各自目标的其他智能体。仅仅聪明是不够的,AI必须能够响应并适应环境。