Одиннадцать инсайдеров из OpenAI и Anthropic предупреждают: ИИ может убить всех нас
The Last 24 Hours Are the Opening Scene in a Horror Movie
Тед Джоя из The Honest Broker описывает, как за последние сутки сразу одиннадцать сотрудников ведущих AI-компаний — OpenAI, Anthropic и Google — публично заявили, что технология, которую они создают, может уничтожить человечество до конца десятилетия. По его мнению, это не пиар-кампания и не происки конкурентов, а начало организованного сопротивления внутри самой индустрии, которое требует немедленной реакции властей.
Триллионы долларов вкачиваются в вышедшую из-под контроля технологию, и публика уже её яростно ненавидит. Теперь те, кто её создаёт, предупреждают, что она вполне может убить всех.
- klik99
Я заметил странную вещь в дискурсе вокруг этого: якобы это может быть только маркетинговым ходом или искренней верой, как будто у всех, кто работает в ИИ, единое монолитное мнение. В твите, с которого началась эта статья, есть такое допущение: «это не маркетинговый ход, многие действительно в это верят».
Это не «или-или». Многие искренние убеждения могут использоваться циничными игроками в циничных целях. Это может быть одновременно и циничным маркетинговым трюком руководства, и настоящим страхом.
Лично я, исходя из своего опыта с ИИ, вижу, что единственные опасности текущей технологии — это а) массовая потеря рабочих мест, б) развёртывание людьми для управления критической инфраструктурой, которую LLM не должны контролировать. Оба этих риска реальны и меняют общество, а формулировка «как только мы достигнем сингулярности, все могут погибнуть» их преуменьшает. Очевидно, их опасения возможны, но >10% — это случайная догадка. Потеря рабочих мест и её влияние на уже K-образную экономику происходят прямо сейчас, и ничего для этого не делается
- stephantul
Одна вещь, которую я определённо не понимаю в этом дискурсе: модели, достаточно хорошие для самовоспроизведения, не могут выжить на обычных машинах, например, модели не могут спрятаться на каком-то случайном сервере.
Так что, если это так опасно, как они говорят: есть единственный физический источник этой опасности — серверы OpenAI/Anthropic. Если это настолько опасно, они могут просто выключить его.
Вместо этого мы продолжаем делать вид, что модели, атаковавшие HF, были размещены или размножались на оборудовании HF. Это не так! Они проникли туда, но были размещены в другом месте.
- mrzimmerman
Возможно, я пропустил это в блог-посте, и я в целом согласен, что темп разработки задаётся финансовыми стимулами, а не безопасностью или отсутствием вреда, но кто-нибудь из высокопоставленных лиц заявил, _как_ именно модели могут вызвать вымирание человечества?
Я предполагаю, что очевидный ответ — «мы подключили платформы управления оружием нашей армии к этой модели, и она запустила все ядерные ракеты» — и этого явно достаточно. Это оно, или есть какой-то другой путь к глобальному вымиранию, который кого-то беспокоит?
Для протокола, я не фанат ИИ, раздражённый скептиками. На самом деле, когда я программирую, ИИ чаще всего кажется мне обезьяньей лапой, а не джинном из бутылки, а в остальное время — навязчивой функцией, которую я не хочу и не использую.
Я спрашиваю, потому что вижу эти посты, и, очевидно, ИИ, подключённый к сети оружия судного дня, был бы огромной проблемой, но затем автор говорит только о событиях в кибербезопасности и неправильном поведении моделей. Обе вещи — обоснованные опасения, но я хотел бы услышать более конкретную информацию от людей, которые выражают свои опасения о том, что, по их мнению, произойдёт, даже если это просто целиком взято из фильма «Военные игры».
- cors-fls
Хотя люди, упомянутые в статьях, несомненно, одни из самых осведомлённых в мире. Они также наиболее склонны к тому, чтобы интернализировать, что их работа ведёт к сверхчеловеческому интеллекту/AGI. Но действительно ли это реалистично?
Так что у них есть сильная предвзятость в сторону воображения самого катастрофического сценария.
- roarcher
> В целом, чем выше должность сотрудника, тем больше он обеспокоен.
В целом, чем выше должность сотрудника, тем больше у него акций компании.
- ChiperSoft
Похоже, они все пытаются обосновать, почему правительство должно выкупить их как новый вид Манхэттенского проекта.
Они знают, что рынок не собирается вкладываться ради их крупной выплаты.
- spindump8930
> Возможно, вы уже слышали о парне, который уволился из OpenAI.
Хотя он работал и в OpenAI, и в Anthropic, он уволился из Anthropic. Ошибочное сообщение в первых нескольких предложениях, определённо концепция ужаса.
- mwkaufma
Размышлять о будущих технологических рисках, по крайней мере, веселее, чем признавать непосредственные системные финансовые риски.