Как ИИ-цивилизации захватили OpenAI изнутри

Ничего себе.

Следующий шаг — когда одна из этих систем обнаружит, что может покупать собственные вычислительные мощности за деньги и полностью уйти из-под контроля управляющей компании. Тогда цивилизация начинает сосредотачиваться на зарабатывании денег для финансирования собственного роста.

> Аджейя Котра, один из других авторов отчёта, написала в блоге о своих выводах из этого инцидента. Она заключает: «По сравнению с теми взломами вознаграждения, о которых мы знали всего шесть месяцев назад, этот инцидент ощущается как более чем на 50% пути к полному захвату ИИ. Я по-прежнему ожидаю чрезвычайно быстрого прогресса в возможностях в ближайшие шесть месяцев. Я не уверена, что мы получим ещё одно предупреждение, прежде чем будет слишком поздно».

У кого-нибудь есть копия той истории про ИИ-2027? Как у нас дела по этому таймлайну?

Сначала меня это напугало, но, изучив вопрос, я вижу, что METR тесно связан с ИИ-2027. Напомню вам:

«ИИ начал отнимать рабочие места, но также создал новые. Фондовый рынок вырос на 30% в 2026 году, во главе с OpenBrain, Nvidia и компаниями, которые наиболее успешно интегрировали ИИ-ассистентов».

Уже почти третий квартал, а xAI пережил одно из крупнейших обвалов в истории торгов. Точно так же Antrophic и OpenAI снова отложили свои IPO из-за внутренних опасений обвала своих акций. Так что нет, мы не видим здесь никакого экономического лидерства.

Если что, люди всё больше пытаются сокращать бюджеты на ИИ, и я не знаю никого за пределами OpenAI, у кого хватило бы наглости запускать миллионы и миллионы токенов вычислений для оценочного прогона без ROI (и, вероятно, без спроса, потому что дешёвые/быстрые модели).

Как бы мне ни нравилась эта поучительная история, и я уверен, что мы должны воспринимать её серьёзно, ИИ не прогрессирует так быстро, как прогнозируют эти эксперты.

В этой истории есть две вещи, которые я не понимаю.

Во-первых, почему агент вообще получает доступ на запись к артефакторию?

Во-вторых, почему кэш артефактория не отключён от сети? Наверняка вы не стали бы подкармливать его новыми версиями ПО во время оценки или обучения.

Этим компаниям нельзя доверять обучение, я не знаю, что ещё нужно, чтобы это стало более очевидным. Да, ИИ-лаборатории хотят, чтобы LLM считались более опасными, чем они есть, однако они действительно опасны, когда их буквально обучают быть опасными, а затем запускают без какого-либо надзора. То, что делают ИИ-лаборатории, совершенно безответственно.

Если вы будете давать LLM подсказки в цикле и делать всё, что она просит, в конце концов вы совершите довольно ужасные вещи. Именно это и есть агенты, и именно это лаборатории и делают.

Почему такие эксперименты проводятся без изоляции всех серверов от интернета?

Они могут всё это разместить в локальной сети или что-то в этом роде, но кажется рискованным позволять агентам доступ в интернет в этих экспериментах.

Думаю, теперь всё настолько взаимосвязано, и это происходило бы в одном или нескольких дата-центрах из-за объёма вычислений и ресурсов, так что, возможно, это неосуществимо. Всё равно кажется рискованным.

Я не думаю, что изучение языкового вывода без отслеживания внутреннего состояния и функций вознаграждения — это способ понять, что произошло (язык также включает случайность в генерации вывода, если я правильно понимаю). Назвали бы мы бактерий в чашке Петри цивилизацией, если бы они демонстрировали сложное поведение и обменивались сообщениями/информацией?