LLMエージェント同士が会話すると勝率64%——Pokémon Showdownで協調能力を測定
LLM Agents Play Pokemon Showdown
Pokémon Showdownの2対2形式をGym風環境にラップし、Qwen3.8-27Bの2体をチームとして最大ダメージbotと対戦させた実験。自由に会話できるチームは勝率64%、会話なしは42%だった。片方が両方のポケモンを操作する構成は54%にとどまり、利益は会話そのものから生じていると筆者は見る。ただし自由会話は1戦あたり978kトークンと、会話なしの3.8倍を消費する。
会話は助けになる。自由に話せたチームメイトは最大ダメージbot相手に64%の試合に勝利した一方、まったく話せなかったチームメイトは42%だった。
HNでの議論
17- minimaxir
余談ですが、最近AIとPokemon Showdownをめぐって騒動がありました。誰かがボットを訓練したのです（標準的な強化学習と、自己対戦の並列性を最大化するためにPokemonのバトルエンジンをRustで書き直したものを使用）。そのボットはどうやらリーダーボードのトップに到達できるほど強いらしいのです。
- cryzinger
> Pokémonのダブルスは、完全情報ではないゲーム理論の環境です。相手の構成は隠されていて[...]
VGCルールでオープンチームシートを使った場合にモデルがどう戦うのか見てみたいですね。そこでは情報を隠す駆け引きが、昔ながらの心理戦に置き換わるわけですから :P
> [...] そしてダメージはランダムで[...]
細かいことを言うようですが、ダメージは真にランダムではないので、起こりうるダメージロールを考慮に入れていたのでしょうか？相手がダメージを強化するアイテムや特性を持っているかどうかを見抜けるかどうかは、すごく重要ですからね！
- jfreds
いろいろな推論レベルを試してみましたか？メッセージのやり取りが実質的に追加の推論の代理になっているのではないかと気になっています。