StarSkirmish Bench v0.2 - LLMs schreiben StarCraft-Bots in einer Stunde
Show HN: Gemini 4 Argon plays StarCraft
StarSkirmish Bench v0.2 ist ein Benchmark, bei dem LLMs in einer Stunde einen Protoss-Bot in C++ für StarCraft: Brood War schreiben. Jeder Bot tritt gegen menschliche Bots und andere KI-Bots an. Der Benchmark testet Langzeit-Reasoning und agentisches Coding, da die Modelle aus Übungsspielen lernen müssen. In v0.2 treten GPT-6 Astra, Gemini 4 Argon, Claude Opus 5.5 und weitere Flaggschiff-Modelle in ihren eigenen CLI-Harnessen an. GPT-6 Astra führt mit einer Gewinnrate von 57, gefolgt von GPT-6.1 Sol mit 46. Die stärksten menschlichen Bots sind jedoch weiterhin überlegen: Der beste KI-Bot gewinnt nur 7% seiner Spiele gegen sie. StarSkirmish Bench korreliert stark mit Vals IOI und WeirdML, was zeigt, dass es langfristige, schwierige Coding-Aufgaben misst.
Der stärkste menschliche Bot ist immer noch weit vor jedem Modell – die besten KI-Bots gewinnen nur 7% ihrer Spiele gegen Stardust, PurpleWave und BananaBrain.