Codex Astra выиграл все 18 матчей в Brood War Bench, но ни одна модель не играет выше уровня новичка

Бен Свердлоу создал Brood War Bench — бенчмарк, где LLM-агенты играют в StarCraft: Brood War друг против друга. Codex Astra / xhigh одержал 18 побед в 18 матчах, Claude Fable показал 83,3% побед, а Grok 4.6 часто тратил десятки минут на размышления, не выпуская ни одного боевого юнита. Ни одна модель не вышла за уровень новичка: они не строят сложные армии и не защищаются от простых атак.