LLM-агенты, которые переговариваются в бою, побеждают в 64% битв Pokémon Showdown
LLM Agents Play Pokemon Showdown
Автор построил среду на базе симулятора Pokémon Showdown в формате 2v2, чтобы проверить, как LLM-агенты договариваются друг с другом. Две модели Qwen3.8-27B играют в одной команде против скриптового бота: со свободным чатом они выигрывают 64% боёв, без общения — лишь 42%. Один агент, управляющий обеими «покемонами», даёт 54%, так что выигрыш приносит именно разговор. Цена — 978 тыс. токенов на бой против 259 тыс. без чата.
«Поправка: Fighting на самом деле не резистится Water или Ground, так что мой Close Combat нейтрален (1x) по обоим. … Фиксирую Fake Out → Whiscash».
- minimaxir
Как оффтоп: недавно был скандал вокруг ИИ и Pokemon Showdown, потому что кто-то обучил бота (используя стандартное обучение с подкреплением + переписанный на Rust движок боёв Pokémon для максимального параллелизма в self-play), который, судя по всему, достаточно хорош, чтобы забраться на вершину таблицы лидеров.
- cryzinger
> Pokémon doubles — это игровая среда теории игр без полной информации. Наборы противников скрыты[...]
Мне было бы любопытно посмотреть, как модель выступит по правилам VGC с открытыми командными листами, поскольку именно там игры со скрытием информации сменяются старыми добрыми играми разума :P
> [...] и урон случайный [...]
Не хочу придираться, но раз урон не является по-настоящему случайным, учитывала ли она возможные разбросы урона? Способность определить, есть ли у противника предмет/способность, повышающие урон, очень важна!
- jfreds
Пробовали ли вы разные уровни рассуждений? Интересно, не является ли обмен сообщениями по сути прокси для дополнительных рассуждений