Geoffrey Hinton: возможно, нам было бы лучше без AI
Geoffrey Hinton: it might turn out we were better off without AI
Лауреат Нобелевской премии Geoffrey Hinton предупреждает, что уже в этом или следующем году AI может спровоцировать крупный инцидент — отключение финансовой или энергетической системы. Он сравнивает летние взломы AI-агентов с аварией на Three Mile Island и ждёт «своего Чернобыля», который заставит политиков действовать. При этом Hinton не считает себя «думером» и допускает, что человечество ещё удержит контроль.
Думаю, Цукерберг, Маск и Сэм Альтман понимают риски, и им на это плевать. Они предпочтут деньги. Таково моё убеждение.
- mrweasel
Если люди, стоящие у руля AI-компаний, понимают риск, я не знаю, но, думаю, это хорошее замечание, что их в основном волнуют деньги. Это также люди, которые не привыкли разгребать собственные проблемы, так что им-то что, если что-то пойдёт не так.
Безответственность также очевидна в том, как внедряется AI. Его представляют как прорывную технологию, как и всё остальное, что преподносят современные технологические компании. Цель — очень большая выплата за очень короткий срок, а не сделать что-то лучше или хуже, и то и другое — просто побочный эффект.
Если бы LLM сначала представили как «улучшенный IntelliSense», где вместо автодополнения имён функций ваш редактор теперь может предлагать реализации, очень немногие были бы расстроены. То же самое с письмом — это просто улучшенная версия Grammarly, и это нормально, или как инструмент в программе для рисования. Проблема была бы, для AI-начальников, в том, что это требует времени и не создаёт триллионные компании. Это создаёт только компании, которыми им действительно пришлось бы управлять в долгосрочной перспективе, а это скучно.
- bemtevi
«он предупредил, что это может вызвать крупномасштабный инцидент в этом или следующем году, например временное отключение финансовых или энергетических систем».
Я знаю, это звучит необычно, но я действительно думаю, что это не было бы худшим, что могло бы случиться. Конечно, это вызвало бы небольшой хаос, но это также могло бы заставить нас дважды подумать, прежде чем продолжать идти по текущему пути неограниченного развития, и возможно, даже сделать нас гораздо более осторожными, что в свою очередь могло бы даже помочь нам с климатическим кризисом.
Потому что люди в массе своей реагируют только на одно: непосредственные трудности. Они не реагируют на отложенные трудности, такие как «климат ухудшается» или «технологии сделают жизнь сложнее в отдалённом будущем». Они реагируют только на немедленную боль.
Так что я думаю, было бы хорошо, если бы финансовой системе угрожала серьёзная опасность. Тогда люди с деньгами, которые склонны компенсировать будущие проблемы техническими решениями и финансовой подушкой, начали бы гораздо больше подозрительно относиться к технологиям и лишили бы финансирования AI и расточительные вещи, которые, вероятно, угрожают их безопасности.
- bvan
Конечно, мы.
В конце 80-х — начале 90-х никто, работавший над ML, не стремился разрабатывать системы, которые будут использоваться для генерации того AI-дерьма, которое нас сегодня преследует. Хорошее душит абсолютно бессмысленное, сокрушающее душу.
- dust42
Так что Хинтон не доверяет технологическим лидерам, но тогда следствие цензуры LLM правительствами состоит в том, что только технологические лидеры и правительства имеют неограниченный доступ к AI.
Если кому-то удастся с помощью AI взломать жизненно важную систему, значит, система уже была в критически плохом состоянии до этого. Если разработчики не могут использовать AI для проверки кода на уязвимости, то безопасность становится хуже, а не лучше.
- gkcnlr
> [...] как он предупредил, это может вызвать крупномасштабный инцидент в этом или следующем году, например временное отключение финансовых или энергетических систем.
Я в это не верю. Нет какого-то вудуистского «взбесившегося AI», который мог бы случайно решить захватить их стек поставщиков или взломать самые критически важные инфраструктуры на Земле. Такие предсказания могли бы осуществиться, только если крошечное меньшинство, владеющее огромным объёмом вычислений и имеющее определённую повестку, решит сделать нечто подобное, что также потребует безумного количества мощностей дата-центров, чтобы вызвать, особенно какой-то финансовый «коллапс».
- socketcluster
Мой главный страх — что целостность всего будет скомпрометирована, но все будут продолжать вести себя так, как будто это не так. Мне кажется, это уже в некоторой степени так, но я беспокоюсь, что станет хуже.
Мой прогноз: некоторые люди смогут использовать AI, чтобы создавать по сути бесконечные деньги на своих банковских счетах (через взлом); цены на активы вырастут до смешных сумм, поскольку люди с бесконечными деньгами скупают активы, но доходность всех активов вскоре приблизится к 0%; тем не менее, один актив будет расти быстрее всех остальных (например, AI-компания, поддерживаемая блокчейн/токенизированными акциями, которые невозможно взломать), и все начнут вкладывать свои бесконечные деньги в этот актив; все остальные активы рухнут из-за быстрого экспоненциального ускорения цены топового актива, делающего все остальные активы непривлекательными по сравнению с ним. Затем фиатные деньги перестанут существовать, и акции (или криптотокены) топовой компании будут использоваться вместо денег. Затем цены на активы снова стабилизируются, выраженные в новой валюте... И после этого мы наконец сможем начать внедрять инновации с помощью AI.
- gchamonlive
«Я думаю, [Марк] Цукерберг, и [Илон] Маск, и Сэм Альтман понимают риски, и им насрать. Они предпочли бы деньги. Таково моё убеждение».
Что такое риск для людей, чья стоимость близка к триллиону долларов или превышает его? Риск бессмысленен, когда корпорации становятся слишком большими, чтобы рухнуть.
- asdfsa32
«Мы». Кто «мы»? Это не о тебе. И не обо мне. Никогда не было никакого «мы». Прежде чем открыть рот или положить ручку, ты бы не подумал о стоимости для акционеров?