AI впервые обыграл лучшего игрока в Stratego, потратив всего несколько тысяч долларов
With most information hidden, the game Stratego had stumped AI–until now

ИИ Ataraxos от исследователей из Carnegie Mellon, MIT, NYU и Stanford победил Пима Нимейера, лучшего игрока в Stratego, со счётом 15:1. Ключом стала вторая нейросеть, которая угадывает скрытые фигуры соперника, что позволило обойтись 16 GPU и несколькими тысячами долларов вместо миллионов, потраченных DeepMind на DeepNash.
Для людей очень трудно, зная секрет, принимать решения, игнорируя тот факт, что ты знаешь этот секрет. Для машин это легко.
- SwellJoe
Я обожал Stratego в детстве. Но в конце концов я не мог найти никого, кто бы со мной играл, потому что я всех громил, включая отца, который играл в шахматы намного лучше меня. Но я бы никогда не подумал, что это игра, с которой у моделей будут проблемы. Она кажется относительно простой. И, необъяснимо, я даже не думал, что могут быть серьёзные игроки... Я сохранил настольную игру, одну из немногих вещей, оставшихся у меня из раннего детства, но прошло двадцать лет с тех пор, как я играл. Полагаю, пора найти онлайн-Stratego. Наверняка кто-то во всём мире сможет меня обыграть.
Жаль, что я так и не сыграл против ИИ до того, как они её взломали.
- janalsncm
> Алгоритм также обучался гораздо быстрее — он сыграл примерно в 34 раза меньше игр, чем DeepNash, и всё равно оказался намного сильнее.
Имхо, это ключевой момент, и именно это вообще делает работу ИИ возможной.
В играх со скрытой информацией лучший ход зависит от информации, которой у вас нет. Так что ход может быть хорошим или плохим — это просто зависит от чего-то, что невозможно узнать.
Вам хотелось бы просчитывать вперёд, то есть «если я сделаю это, они сделают то», но это невозможно, поскольку вы даже не знаете, что может сделать противник, потому что не знаете его скрытого состояния.
Если возможные скрытые состояния распределены случайно, вам крышка. Это как «камень, ножницы, бумага»: нет лучшего хода, если противник непредсказуем.
Однако если вы можете быстро научиться предсказывать его ходы, становится возможным принимать обоснованные решения о том, что делать.
- dmurray
О нет! Stratego было у меня на уме как что-то, для чего мы просто недостаточно старались сделать выигрывающего бота, включая усилия DeepMind в 2022 году. Я планировал сделать первого.
Я думал, что это чуть менее безумно, чем пытаться доказать гипотезу Римана, но, может, в наши дни достаточно просто попросить Claude сделать это, и он скажет, что есть контрпример в 1 + πi, которого раньше никто не замечал.
- erwincoumans
Помню, как в детстве играл в Stratego у друга дома, и в конце концов выяснил, что некоторые его фигуры были незаметно помечены (сколы на фигурах). Раскрытие скрытой информации было очень нечестным :)
- rovr138
> Теперь команда исследователей из Carnegie Mellon, MIT, New York University и Stanford University сделала это. Их ИИ, названный Ataraxos, обыграл Пима Нимеийера, вероятно, лучшего игрока в Stratego всех времён, со счётом 15:1 при четырёх ничьих. И на его обучение ушло всего 16 GPU и несколько тысяч долларов.
Всего 16 GPU и несколько тысяч долларов?
А как же «исследователи из Carnegie Mellon, MIT, New York University и Stanford University» — это же были не абы кто.
- smokel
Это позволяет взглянуть под другим углом на более раннюю работу «Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning», 2022 [1]. По-видимому, «mastering» в 2022 году было ещё не совсем тем. Четыре года спустя новый подход, похоже, действительно лучше людей.
- smokel
Этот подход также работает для Hanabi — очень интересной игры. Вы не видите своих карт, но другие игроки видят. Я купил игру, потому что кто-то упомянул её в подкасте по обучению с подкреплением [2], и на самом деле играл в неё несколько раз.
- hnedeotes
Я думаю, что эти игры можно раз за разом обыгрывать потому, что они статичны. Не говорю, что должным образом обученный алгоритм не будет играть лучше среднего игрока в такую игру, как MtG, или в мою собственную https://aethersummon.com (особенно сейчас, когда в ней всего менее 90 возможных свитков), но если у вас регулярный график выпуска (скажем, еженедельно или раз в две недели) значимых новых «карт», то, думаю, игровое поле становится гораздо более ровным для людей.
Эти новые добавления могут обнулить все данные для обучения одной-единственной новой «картой», которая полностью меняет динамику и которую игроку было бы легко понять и включить в свою игру, а алгоритму — нет (возможно, при достаточных вычислительных ресурсах для регулярного переобучения он смог бы) — а это, вместе с деревьями решений, которые на порядки глубже, шире и с большим числом условий, чем в го, шахматах или Stratego — даже в рамках одного хода с теми же доступными картами и тем же состоянием стола — вероятно, создаст гораздо более сложные задачи для алгоритма, ограниченного вычислительными ресурсами.