GPT-5.6 SolがFactorioの平和モードをクリア、ゲーム内時間13.5時間でロケット打ち上げ

LLMがゲームをプレイするのを注視していないなら、GPT 6.1 Solは100%視覚のみでゲームに新たに勝利できる（エージェントにゲームに関する追加情報を与えるハーネスなしで）。ポケモンはもはや難しい挑戦ではなく、ハードモードやレベルキャップなどの追加の難易度制限があっても同様だ。最近、GPT 6.1 SolはファイナルファンタジーVIIとそのボーナスボスを視覚のみで驚くほど素早く倒した。

Opus 5.5はさらにうまくやれると思うが、それをテストしている人はそれほど多くない。

AIがゲームをプレイするのを見るのは楽しいが、小さなLLMをゲーム内に組み込んで、有用で面白い方法でゲームを豊かにする方法を誰かが解明するのを待ちきれない。

この種のデモ（およびMinecraftなどでも同様）の限界の一つは：

1. 「ピースフル」モードにすると、応答時間が問題にならない

2. これらのモデルは、この主題についてこれまでに公開されたすべてのガイドやビデオを読んでおり、アクセスできる。ほとんどの人間は、特に初回プレイでは、ゲームシステムと相互作用をゼロから学び、その後、新しい戦略や計画を開発し、「仮説検証」をしながらゲームをクリアする。

これは数年前と比べれば依然として印象的であり、ゲームに関する既存のすべての情報を統合し、半現実的な設定でゲームを完了までプレイできるのは素晴らしい。

一見すると、「優秀なAIがFactorioを解決した」と誤解するかもしれないが、実際には、すべての情報やトレーニングデータ（例えば大量のビデオやスクリーンショット）を与えられていない類似の別ゲームでは、ひどい結果になる可能性がある（他の人がコメントで指摘しているように）。

> ロケット打ち上げは、Solが後半戦で特定の生産システムを接続できなかった失敗を、工場のエリア間で物資を繰り返し運搬することで覆い隠した、いわば多大な「手動」の努力によってのみ達成された。

ビデオを見ると、12分あたりでSolのトレースが競合する「クーリエ」（手動給餌）スクリプトのキャンセルを報告しているのがわかる。

「手動」の努力を実装するのではなく、Solはエンジニアを単なる自動化ユニットの一つと見なしたようだ！

それは挑戦の意図の範囲内とは言えないが、それほど大きく外れてもいない。エージェントがスクリプティングレイヤーを通じてゲームと対話する場合、この抜け穴を塞ぐのは難しい。

Factorioの核心的なメカニクス、つまり出力をベルトに載せて他の入力にルーティングすることを理解していないようだ。いくつかの場所ではやっているが、ほとんどの場合、すべてがチェストに入れられ、プレイヤーによって移動されている。

Factorioは、拡張する際にバグが厄介でなければずっと簡単なゲームだ。Solがバグをどう扱うか気になる。

AIが工場を設計する方法は奇妙で、ほとんど異質だ。ClaudeがFable 5を発表したときも、同じような設計で、多くの手動給餌と直接挿入を伴うFactorioのデモを行った。

ある意味、これはLLMが単にコピーしているのではなく、実際にオーダーメイドのソリューションを生み出していることを証明している。しかし正直なところ、フロンティアモデルにはもっと期待していた。