LLM 에이전트, 대화 없이 싸우면 승률 42%… 자유롭게 대화하면 64%
LLM Agents Play Pokemon Showdown
Qwen3.8-27B 두 개를 한 팀으로 묶어 Pokémon Showdown 2v2 환경에서 협동 능력을 측정했다. 서로 자유롭게 대화하며 싸운 팀은 최대 데미지 봇 상대로 64%를 이겼지만, 대화 없이 싸운 팀은 42%에 그쳤다. 한 모델이 두 포켓몬을 모두 조종한 경우(54%)보다 두 에이전트가 대화한 경우가 더 높아, 이득은 대화 자체에서 나온다는 걸 시사한다. 다만 자유 대화는 배틀당 97만 8천 토큰을 써 대화 없는 경우의 3.8배였다.
자유롭게 대화한 팀은 최대 데미지 봇을 상대로 64%의 배틀을 이겼지만, 전혀 대화하지 못한 팀은 42%를 이겼다.
HN 토론
17- minimaxir
곁가지로, 최근 AI와 Pokemon Showdown 관련해서 드라마가 있었는데, 누군가 봇을 훈련시켰습니다(표준 강화 학습 + 최대 셀프플레이 병렬화를 위해 포켓몬 배틀 엔진을 Rust로 재작성). 그 봇이 리더보드 정상에 오를 만큼 충분히 뛰어나다고 합니다.
- cryzinger
> 포켓몬 더블 배틀은 완전 정보가 아닌 게임 이론 환경입니다. 상대의 구성은 숨겨져 있고[...]
VGC 규칙에서 오픈 팀 시트로 모델이 어떻게 성적을 내는지 궁금하네요. 정보 숨기기 게임을 고전적인 심리전으로 바꾸는 셈이니까요 :P
> [...] 그리고 데미지는 무작위이고 [...].
트집 잡으려는 건 아니지만, 데미지가 진짜 무작위가 아니기 때문에 가능한 데미지 롤을 고려했는지 궁금합니다. 상대가 데미지 증가 아이템/특성을 가지고 있는지 판별할 수 있는 게 정말 중요하거든요!
- jfreds
다양한 추론 수준을 시험해 보셨나요? 메시지가 기본적으로 추가 추론의 대리 역할을 하는 건 아닌지 궁금하네요.