StarSkirmish - Benchmark de LLMs escribiendo bots de StarCraft
Show HN: Gemini 4 Argon plays StarCraft
StarSkirmish es un benchmark que desafía a los LLMs a escribir bots de StarCraft: Brood War en C++ en solo una hora. Cada modelo parte de un esqueleto básico y debe crear un bot Protoss que compita contra oponentes humanos y otros bots. La versión v0.2 evalúa a los modelos insignia de OpenAI, Anthropic, Google y Meta en sus propios entornos CLI, midiendo su capacidad de razonamiento a largo plazo y codificación agéntica. GPT-6 Astra lidera con una tasa de victoria del 57%, mientras que Gemini 4 Argon y Claude Opus 5.5 empatan en 39. El benchmark revela que los mejores bots humanos aún superan a los modelos, y que la práctica contra oponentes fuertes es clave para el éxito.
El benchmark StarSkirmish evalúa qué tan fuerte puede ser el bot de StarCraft que cada LLM escribe en una hora. Los bots humanos más fuertes aún están muy por delante de todos los modelos.