StarSkirmish Bench - LLM StarCraft bot coding benchmark
Show HN: Gemini 4 Argon plays StarCraft
StarSkirmish Bench는 LLM이 1시간 안에 StarCraft: Brood War용 Protoss 봇을 C++로 작성하는 벤치마크입니다. 각 모델은 실제 래더 맵에서 인간이 만든 봇들과 대결하며, 장기 추론과 에이전트 코딩 능력을 평가받습니다. v0.2에서는 OpenAI, Anthropic, Google, Meta의 최신 플래그십 모델이 각자의 CLI 환경에서 최고 추론 수준으로 실행됩니다. GPT-6 Astra가 57점으로 1위를 차지했고, Gemini 4 Argon은 39점으로 3위를 기록했습니다. 가장 강력한 인간 봇들은 여전히 모든 모델을 압도하고 있어, AI의 장기 계획 능력이 아직 갈 길이 멀다는 점을 보여줍니다.
StarSkirmish Bench는 LLM이 1시간 동안 얼마나 강력한 StarCraft 봇을 작성할 수 있는지 평가합니다.