RuneScape Bench: MMO-мир как полигон для AI-агентов
RuneScape Bench: MMOs for Agents [video]
Автор показывает видео с RuneScape Bench — тестовой средой, где AI-агенты играют в MMO. Игра с открытым миром, экономикой и долгосрочными задачами оказывается хорошим испытанием для моделей: нужно планировать, торговать и взаимодействовать с другими игроками. В обсуждении на Hacker News спорят, насколько такой бенчмарк показателен и что он говорит о реальных способностях агентов.
MMO — это, пожалуй, один из самых сложных и честных тестов для агентов: здесь нельзя выиграть одним удачным запросом.