StarSkirmish Bench v0.2 - LLMが1時間でStarCraftボットを書くベンチマーク
Show HN: Gemini 4 Argon plays StarCraft
StarSkirmish Bench v0.2は、LLMに1時間でStarCraft: Brood WarのProtossボットをC++で書かせ、その性能を評価するベンチマークです。各モデルはOpenAI、Anthropic、Google、Metaの公式CLIハーネス上で動作し、人間が書いた強豪ボットやデモボットとの勝率でスコア化されます。長期的な推論とエージェント的コーディング能力を試す新指標として、GPT-6 Astraが57点で首位、Gemini 4 Argonは39点で3位タイ。実践的な練習相手の選び方がスコアを大きく左右する点も明らかに。
最も強い人間が書いたボットは、依然としてすべてのモデルを大きくリードしている。最高モデルであるGPT-6 Astraでさえ、Stardust、PurpleWave、BananaBrainに対してわずか7%の勝率しかない。