GPT-5.6 Sol, 13.5시간 만에 Factorio 클리어하다

LLM이 게임하는 걸 주의 깊게 지켜보지 않았다면, GPT 6.1 Sol은 이제 100% 비전만으로(에이전트에게 게임에 대한 추가 정보를 주는 하네스 없이) 게임을 클리어할 수 있다. 하드 모드나 레벨 캡 같은 추가 난이도 제한이 있어도 포켓몬은 더 이상 어려운 도전이 아니다. 최근 GPT 6.1 Sol은 Final Fantasy VII와 그 보너스 보스들을 비전만으로 놀랍도록 빠르게 격파했다.

Opus 5.5가 더 잘할 수 있을 것 같지만 테스트하는 사람이 그렇게 많지 않다.

AI가 게임하는 걸 보는 건 재미있지만, 게임 안에 작은 LLM을 넣어 유용하고 흥미로운 방식으로 게임을 풍부하게 만드는 걸 누군가 해내길 기다릴 수 없다.

이런 종류의 데모(그리고 Minecraft 등에서도 비슷한)의 한계는 다음과 같다:

1. '평화' 모드로 설정하면 응답 시간이 변수가 아니게 된다

2. 이 모델들은 해당 주제에 대해 출판된 모든 가이드와 영상을 읽었고 접근할 수 있다. 대부분의 인간은, 특히 첫 플레이에서, 게임 시스템과 상호작용을 처음부터 배우고, 그다음 새로운 전략과 계획을 개발하며 '가설 검증'을 통해 게임을 이겨나간다.

이건 몇 년 전과 비교하면 여전히 인상적이고, 게임에 대한 모든 기존 정보를 종합한 뒤 반현실적인 환경에서 끝까지 플레이할 수 있다는 건 대단하다.

얼핏 보면 누군가는 이걸 '천재적인 AI가 Factorio를 해결하다'라고 착각할 수 있지만, 실제로는 모든 정보나 훈련 데이터(예: 방대한 영상과 스크린샷)를 선물받지 못한 비슷하지만 다른 게임이 주어진다면 끔찍한 성적을 낼 수도 있다(다른 댓글에서도 지적했듯이).

> 로켓 발사는 Sol이 후반부에 특정 생산 시스템을 연결하지 못한 실패를 공장 구역 사이로 물자를 반복적으로 나르며 덮어버린, 상당한 '수동' 노력 덕분에야 이루어졌다.

영상을 살펴보면, 약 12분 지점에서 Sol 추적이 충돌하는 'courier'(수동 공급) 스크립트의 취소를 보고하는 것을 볼 수 있다.

'수동' 노력을 구현한 게 아니라, Sol은 엔지니어를 그저 또 하나의 자동화 단위로 여긴 것 같다!

그건 챌린지의 의도와 정확히 일치하진 않지만, 크게 벗어난 것도 아니다. 에이전트가 스크립팅 레이어를 통해 게임과 상호작용한다면 닫기 어려운 허점이기도 하다.

Factorio의 핵심 메커니즘, 즉 출력물을 벨트에 올려 다른 입력으로 라우팅하는 것을 이해하지 못하는 것 같다. 몇 군데에서는 이렇게 하지만, 대부분은 모든 것을 상자에 넣고 플레이어가 옮겨 다닌다.

Factorio는 확장할 때 버그가 짜증나지 않으면 훨씬 쉬운 게임이다 - Sol이 버그를 어떻게 처리할지 궁금하다

AI가 공장을 설계하는 방식은 이상하고 거의 외계인 같다. Claude가 Fable 5를 발표했을 때도 같은 종류의 설계와 많은 수동 공급 및 직접 삽입이 있는 Factorio 데모를 했다.

어떤 의미에서는 LLM이 단순히 복사하는 게 아니라 실제로 맞춤형 해결책을 만들어낸다는 걸 증명한다. 하지만 솔직히 프런티어 모델에게 더 많은 걸 기대했다