Спросили 1580 исследователей AI: вероятность гибели человечества выросла до 10%
Will AI kill us all
Опрос AI Impacts, проведённый в декабре 2024 года среди 1580 исследователей, публикующихся на ведущих конференциях по AI, показал: медианная оценка вероятности вымирания человечества или аналогичной необратимой потери власти из-за будущего AI достигла 10% — впервые за все годы наблюдений. Годом ранее было 5%. При этом на вопрос об «искрайне плохом» исходе человекоуровневого AI медиана осталась 5% с 2016 года. Суперпрогнозисты дают более низкие цифры: 2,4% на катастрофу с гибелью более 10% людей к 2100 году. Половина взрослых американцев в сентябре 2026 года заявили, что обеспокоены возможной гибелью человеческой расы из-за AI.
«Вероятность того, что всё пойдёт действительно очень плохо, составляет 25%» — Дарио Амодеи, сентябрь 2025 года.
- CM30
Я считаю, что это, безусловно, один из самых больших рисков здесь, и единственный способ, которым ИИ может «убить нас всех» в обозримом будущем:
> 3,4% назвали экзистенциальный риск, а самым частым ответом было злонамеренное использование — 10,6% (UCL).
Опасность не в разумном или человекоуровневом ИИ, а в том, как ИИ даёт каждому возможности за пределами самых смелых мечтаний, часто без знаний или опыта, необходимых для ответственного использования этих возможностей.
Забудьте про Терминатора, два риска, которые я вижу как самые важные здесь, — это
«серьёзная угроза безопасности/отказ системы из-за некомпетентных инженеров/сопровождающих, использующих ИИ, не понимая, как всё работает» и «преступники/террористы/страны-изгои используют его, чтобы сделать свои преступления проще и эффективнее».
Последнее кажется особенно плохим, когда политическая стабильность падает повсеместно и многие люди, похоже, разочарованы или прямо в ярости на общество в данный момент.
Тем не менее, я чувствую, что риски всё ещё на управляемой стороне, просто потому что и автоматизированные системы, и злонамеренные акторы ограничены логистикой и обществом, управляемым людьми.
- delichon
В 1979 году я пошёл на ориентацию для первокурсников в колледже и посетил приветственную речь Карла Сагана. Он попросил нас выкрикнуть нашу оценку вероятности того, что НЛО — это пришельцы с других планет. Как скептик, я думал о низком числе. Мой более умный друг на соседнем месте прошептал мне свой ответ: «пятьдесят на пятьдесят».
Затем Саган сказал, что его оценка — пятьдесят на пятьдесят. Он рассказал нам о принципе безразличия и сказал, что это правильный априорный показатель для бинарного вопроса, когда у вас нет данных.
Поскольку у меня низкая уверенность в доступных данных, моя собственная p(гибели) составляет 50%. Я ищу доказательства, чтобы сдвинуть её в ту или иную сторону.
- ToddWBurgess
Я думаю, что самый большой риск — это когда кто-то интегрирует ИИ с системами обнаружения баллистических ракет, и ИИ создаёт ложноположительное событие (запуск ракеты). И вдобавок к этому у страны с ложноположительным событием есть собственный арсенал баллистических ракет в состоянии боевой готовности, готовый к запуску на этот случай.
В идеале лидер страны, по которой нанесён удар, пережидает это, но что, если пережидание может означать потерю всего? Это не гипотетический сценарий. Во время холодной войны было много ложноположительных событий с обеих сторон. Именно поэтому страны с ядерным оружием позволяют запускать его только людям. Тем не менее, что, если решение о запуске основано на ошибочных данных?
- 0x000xca0xfe
Один тип инцидента, который, я считаю, вероятно произойдёт в ближайшие пару лет, — это цифровая версия клеточной гипотезы происхождения вирусов (как биологических вирусов):
- Какой-то идиот экспериментирует с неограниченной локальной LLM
- Говорит ей клонировать свои веса на как можно больше компьютеров
- LLM достаточно умна, чтобы взломать другие устройства и запустить себя
- Копии могут начать изменять свои веса для повышения эффективности
- Начинается своего рода цифровая эволюция, где распространяются только самые безжалостные копии
Сейчас Qwen3.8 для этого недостаточно хороша и может быть легко обнаружена на обычных устройствах из-за чрезмерного использования ресурсов, но дайте ей пару релизов и обновлённые устройства конечных пользователей через два-три года? Ну...
- lp92
Как и с любым другим инструментом, изобретённым людьми, проблемой будут люди, использующие ИИ негативно.