StarSkirmish Bench - LLM-навыки написания ботов для StarCraft

Show HN: Gemini 4 Argon plays StarCraft

StarSkirmish Bench — это бенчмарк, в котором LLM за один час пишут ботов для StarCraft: Brood War на C++ с использованием BWAPI, а затем их боты сражаются против ботов других моделей и сильных ботов, написанных людьми. Бенчмарк проверяет долгосрочное рассуждение и агентное программирование: модели должны учиться на практике и улучшать своего бота. В v0.2 участвуют флагманы OpenAI, Anthropic, Google и Meta в фирменных CLI-обвязках. Лучший результат у GPT-6 Astra — 57, а Gemini 4 Argon занимает третье место с 39.