GPT-5.6 Sol прошла Factorio в мирном режиме за 13,5 игровых часов

Если вы не следили за тем, как LLM играют в игры, то GPT 6.1 Sol теперь может проходить игры на 100% только с помощью зрения (без обвязок, дающих агенту дополнительную информацию об игре). Pokemon больше не является для неё сложной задачей, даже с дополнительными ограничениями сложности, такими как хардмод и ограничения уровней. Недавно GPT 6.1 Sol удивительно быстро прошла Final Fantasy VII и её бонусных боссов только с помощью зрения.

Подозреваю, что Opus 5.5 может показать ещё лучшие результаты, но не так много людей его тестируют.

Смотреть, как ИИ играет в игры, — это весело, но я не могу дождаться, когда кто-нибудь решит задачу встраивания небольших LLM в игры, чтобы обогатить их полезными и интересными способами.

Одно из ограничений таких демонстраций (и аналогичных с Minecraft и т.д.) заключается в следующем:

1. Перевод в «мирный» режим делает время реакции несущественным фактором.

2. Эти модели прочитали и имеют доступ ко всем руководствам и видео, когда-либо опубликованным по этой теме. Большинство людей, особенно при первом прохождении, изучают игровые системы и взаимодействия с нуля, затем разрабатывают новые стратегии и планы и «проверяют гипотезы», чтобы пройти игру.

Это всё ещё впечатляет по сравнению с тем, где мы были несколько лет назад, и способность синтезировать всю существующую информацию об игре, а затем пройти её до конца в полуреалистичных условиях — это здорово.

При быстром взгляде кто-то может принять это за «блестящий ИИ решает Factorio», тогда как в реальности, столкнувшись с похожей, но другой игрой, где ему не предоставили всю информацию или обучающие данные (например, массу видео и скриншотов), он может показать ужасные результаты (как отмечали другие в комментариях).

> Запуск ракеты был достигнут только благодаря значительным «ручным» усилиям со стороны Sol, поскольку она замаскировала свои поздние провалы в подключении определённых производственных систем, многократно перевозя ресурсы между участками фабрики.

Просматривая видео, примерно на 12-й минуте можно увидеть, как отчёт трассировки Sol сообщает об отмене конфликтующего скрипта «курьера» (ручной подачи).

Похоже, вместо реализации «ручных» усилий Sol рассматривала Инженера просто как ещё одну единицу автоматизации!

Это не совсем соответствует замыслу испытания, но и не слишком выходит за рамки. Также это сложно закрыть как лазейку, если агент взаимодействует с игрой через скриптовый слой.

Похоже, он не понимает основного механики Factorio — размещения выходов на конвейеры и их маршрутизации к другим входам. В нескольких местах он это делает, но по большей части всё складывается в сундуки и перемещается игроком.

Factorio — гораздо более лёгкая игра, когда жуки не доставляют хлопот по мере расширения — интересно, как Sol справилась бы с жуками.

Странно и почти чуждо то, как ИИ проектирует фабрики. Когда Claude анонсировал Fable 5, они также провели демонстрацию Factorio, где были такие же типы конструкций и много ручной подачи и прямой вставки.

В некотором смысле это доказывает мне, что LLM не просто копируют, а действительно создают индивидуальное решение. Но, честно говоря, я ожидал большего от передовых моделей.