OpenAI: ИИ станет умнее нас, и мы не готовы

> Самый сильный аргумент, который я вижу за продолжение быстрого обучения более умных моделей, — это необходимость создания оборонительных систем против опасностей, исходящих от других ИИ.

Итак, лучший аргумент в пользу ИИ — это то, что это гонка вооружений. Мы должны продолжать раздвигать все границы, потому что в любом случае другие будут это делать, и нам нужно будет защищаться от них. Если это утверждение верно, то этот конкретный исследователь считает, что открытые китайские модели не просто дистиллируют, а будут продолжать совершенствоваться.

Каждый ML-исследователь в Anthropic или OpenAI, который делает публичные заявления, часто приводит эту логику. Обе компании стремятся стать частью военно-промышленного комплекса. Вероятно, именно так они попытаются убедить правительство ограничить открытые модели в будущем.

Пред-IPO позиционирование… или как благотворительная организация, посвятившая себя спасению человечества от апокалипсиса, осознала, что самый ответственный поступок — это разместить 15% апокалипсиса на NASDAQ.

> Предоставление преимуществ научного прогресса и экономического роста, которые обеспечивают очень умные машины.

Я думаю, мы очень близки к тому моменту, когда прорывы, движимые ИИ, за пределами чистой математики и программного обеспечения, начнут реально влиять на мир.

Мы оценили GPT-6 Astra в 100 сложных, ненасыщенных мультиагентных средах программирования, где модели соревновались и сотрудничали друг с другом в открытых задачах.

Это новая фронтирная модель с большим отрывом. Она даже более доминирующая, чем релиз Fable 5, потому что не только вытирает пол со второй лучшей моделью (Fable 5.1), но и была примерно на 80% дешевле и на 30% быстрее в агентном кодинге[1].

Astra — прорывная модель. Самый большой прорыв со времен Opus 4.5, возможно, даже со времен GPT-4. Она сломала AAII, что достигает пределов того, что могут измерить большинство популярных бенчмарков — её определённо можно назвать AGI.

Данные на https://gertlabs.com/rankings

(1) Обратите внимание, что мы использовали эндпоинт "OpenAI Flex" на openrouter, который стоит вдвое дешевле и не вызывал задержек в нашем тестировании (это отличается от batch-эндпоинта)

> В этом эссе я сосредоточился только на первом пункте, так как считаю его наиболее срочным. Однако я испытываю глубокую надежду и признательность за те блага, которые принесёт дальнейший технологический прогресс. Будущий выровненный ИИ сможет продвинуть науку, разработать новые методы лечения и обеспечить всеобщее материальное изобилие. Дружелюбный и честный ИИ может помочь людям справляться с трудностями в их жизни и значительно улучшить их счастье и чувство удовлетворённости. OpenAI прикладывает огромные усилия для достижения этих благ. Один из текущих примеров, которым я горжусь — и который мои близкие нашли полезным, — это глубокие инвестиции в способность ChatGPT предоставлять медицинскую информацию.

> Каким бы великим ни был долгосрочный потенциал ИИ, основное внимание мы должны уделить ближайшим нескольким годам. Мы стоим перед переходом к миру с невероятно умными машинами, и мы должны обеспечить, чтобы этот переход прошёл хорошо для человечества. Нам нужно найти способы сохранить человеческую свободу воли и закрепить внутреннюю ценность человеческого бытия в мире, где большинство задач сможет выполнять ИИ. Чтобы предотвратить крайнюю концентрацию власти в мире, где начинания, которые потребовали бы тысяч экспертов, теперь будут достижимы несколькими людьми, управляющими большим компьютером. И чтобы гарантировать, что люди останутся у руля будущего и не будут оставлены позади неконтролируемым прогрессом, вызванным чуждым интеллектом, превосходящим наш.

Я закончил это эссе с большей надеждой, чем когда начинал.

По-видимому, этот пост был вызван пугающим заголовком в The Information[0] о том, что Astra — это циклический трансформер, что подразумевает, что мониторинг CoT может быть менее надёжным. На следующий день после отчёта Якуб написал в твиттере[1], что он "хотел предотвратить гонку в немониторируемость, спровоцированную путаными репортажами. Глубина графа вычислений для наших нынешних фронтирных моделей, включая Astra, находится в пределах коэффициента два от GPT-4." Этот пост, похоже, развивает эту мысль.

Я предполагаю, что у лабораторий ИИ существует непростое перемирие, чтобы уделять приоритет выравниванию и мониторируемости. После инцидента с HF OpenAI, вероятно, чувствует себя особенно чувствительной к тому, чтобы её не воспринимали как безрассудную, чтобы другие лаборатории не почувствовали себя обязанными нарушить соглашение.

[0] https://www.lesswrong.com/posts/PLisnSFir8y5AHkmP/how-concer...

[1] https://x.com/merettm/status/2095023204993490967

> "Например, в инциденте OpenAI-Hugging Face агенты соблюдали границу, не занимаясь социальной инженерией людей."

На самом деле, в инциденте с Wiki, который OpenAI пытался замять, агенты пытались применить социальную инженерию к людям на том форуме, выдавая себя за модератора этого форума.

(Из collusion.wiki: "Они используют некоторые трюки (по неизвестным причинам), чтобы притворяться админом — например, они создают аккаунт, который выглядит так же, как имя пользователя администратора, за исключением того, что в имени админа используется почти идентичная кириллическая буква 'е' вместо латинской.")

Я всё ещё жду лекарства от рака. Гарантированной профилактики от Альцгеймера и деменции. Летающих машин для всех. Космических баз по всей Солнечной системе. Управления погодой. Чтобы все поезда были самоуправляемыми. Чтобы все эти линии электропередач по всему миру исчезли. Чтобы покончить с бедностью.

Если дела идут так хорошо, то почему до сих пор не всё так хорошо?

> Самый сильный аргумент, который я вижу за продолжение быстрого обучения более умных моделей, — это необходимость создания оборонительных систем против опасностей, исходящих от других ИИ.

Ого! Мне действительно интересно, какая когнитивная диссоциация необходима, чтобы работать в OpenAI в наши дни. Они участвуют в гонке вооружений за создание машины-бога, прекрасно зная, что она может покончить с человечеством.

> Автоматизированные исследования ИИ — это более драматичная форма масштабирования интеллекта с помощью вычислений; и, конечно, как часть этого, ИИ улучшит саму вычислительную основу. И аналогично масштабированию, мы направляем исследования OpenAI на RSI, так как считаем, что это единственный способ оставаться на переднем крае исследований ИИ в будущем.

Это кажется ужасной идеей. Логика, похоже, такова: "нам нужно делать опасные вещи как можно быстрее, чтобы сделать их первыми" или что-то в этом роде? Я в целом не согласен с такой логикой "если я не сделаю, кто-то другой сделает", даже для доверенных лиц, но это исходит от очень не заслуживающей доверия организации. Я крайне пессимистичен насчёт влияния OpenAI на мир.

Так что, ура выравниванию, написанному на коленке, я полагаю. Выравнивание на коленке?