Codex AstraがBrood Warベンチマークで全勝、しかし全モデルが初心者レベルを超えられず
Brood War Bench
Ben Swerdlow氏がエージェント専用のBrood War環境を構築し、19のモデルと設定を総当たりで対戦させた。Codex Astra / xhighが18勝0敗で圧勝し、Claude FableやOpus 5が続いた。Grok 4.6は思考に時間をかけすぎてユニットをほぼ生産できず、旧モデルはRTSをターン制のように扱う傾向があった。それでも全モデルが初心者レベルを超えられず、Photon rushのような基本戦術にも対応できなかった。
初心者がPhoton rushをすれば、これらのゲームのすべてに勝つだろう。
HNでの議論
101- pelagicAustral
ベンチマークとは関係ないけど……
私はStarCraftが大好きだ。最初からずっとプレイしてきたし、今の友人の大半はあの時代からの付き合いだ。10代前半の頃、文字通りほぼすべての大陸に散らばった人々と出会った。インターネットカフェでプレイしていて、インターネットにはアクセスできなかった。料金体系も違った……
あの日々が本当に恋しい。
当時はみんなそれぞれ違うバックグラウンドで、サイバーカフェでStarCraftをやる奴以外の何者でもなかった……そして今、私たちは40代で、数学教師、歴史教師、石油掘削装置のオペレーター、ソフトウェアプログラマー、プロゲーマー、弁護士などなど……ははっ、考えるだけで crazy だ……しかも彼らと知り合いで、話もする。なんて世界だ。
- AntiRush
2010年頃、bwapiの黎明期に、UC Santa CruzのExpressive Intelligence Studioが主催するBrood War AIトーナメントがあった。当時のアプローチが、これやDeepmindのSC2の仕事とどれほど違っていたかを見るのは興味深い。
https://web.archive.org/web/20091124210529/http://eis.ucsc.e...
参加者による当時の素晴らしいArs Technicaの記事がある：
https://arstechnica.com/gaming/2011/01/skynet-meets-the-swar...
学部生の頃、遺伝的プログラミングを使ったプロジェクトをやった。あまり成功しなかったが、とても楽しかった。
https://tomisin.space/archive/starcraft-genetic-programming/
- suby
他にどこに書けばいいかわからないけど、このアイデアを投げておきたい。昔のBrood Warテレビ中継の試合——多くはひどい品質の240p——を機械学習で完璧なBrood War Remasteredのフレームに変換したいと長年思っている。これは実行可能だと思う。地形セットをリマスター版の等価物にマッピングできるはずだし、ゲームは特定のフレームでレンダリングされたスプライトの連続にすぎない。ソース品質がひどくても、例えば訓練データを生成する自動パイプラインを設定できるので、高品質で抽出できると想像する。オリジナルグラフィックからリマスター版へのマップ、そして240pからタイルマップ位置へのマッピングで、フレームのカメラ中心＋スプライト位置／アニメーションインデックスを取る。
- stymaar
Haikuまでベンチしているのに、中国製モデル（Opusを超えていないにしても、少なくともSonnetとOpusの間にある）を一切ベンチしていないのは興味深い。
- mkotlikov
なぜLuna Lowがそんなに良かったのか？！？Terra XHighより良い。APMのせいだとも言えない。Sol MediumがSol Lowに勝ったから（どちらもSol XHighに勝った）。
- mcteamster
これ大好き。面白いことに、StarCraftはAIへのメタレベルのアプローチに影響を与えている。
Protoss：最も難しいタスクのために直接マイクロ管理する、強力で高価なフロンティアコーディングエージェント
Terran：明確に定義されたタスクを委任できる、専用エージェントロールの多用途なチーム構成
Zerg：アプリ内で進化させ、速度とコストのために最適化する、専門カスタムエージェントの大群
各勢力に長所と短所があると知っていることが、仕事にどのツールを使うか決める助けになる。
- faeyanpiraat
現在ラダーで全員に勝っているボットがいる。今日ArtosiscastsのYouTubeチャンネルで見たばかりだ。
- GodelNumbering
友人がGoBench[1][2]を作った。これはKataGoの対戦相手をEloアンカーとして9×9のGoでLLMを評価するもので、そこでは実際の能力差が見える。例えばAstra Maxが他のすべてのモデルを大幅にリードしている。戦略は一般的にLLMを評価する面白い領域だと思う。