LeCun: у меня «ноль беспокойства» из-за угрозы вымирания человечества от AI
LeCun has "zero concerns" about AI wiping out humanity, recent "rogue" incidents

Yann LeCun, один из трёх «крёстных отцов» AI и лауреат премии Тьюринга, заявил, что ничуть не боится вымирания человечества из-за AI и не видит поводов для тревоги в недавних инцидентах с «вышедшими из-под контроля» агентами. По его мнению, проблемы вызваны плохим контролем и слабой кибербезопасностью, а не самой технологией. Особенно резко он высказался об Anthropic CEO Dario Amodei, назвав его «совершенно заблуждающимся» и «сумасшедшим».
Amodei и OpenAI CEO Sam Altman, говорящие «AI может всех нас убить», — это невероятно разрушительно для всех, включая публику, которая до смерти напугана. Это худшая маркетинговая кампания, какую только можно вообразить.
- Zigurd
LLM, плюс широко подобранные, но экспертно отобранные источники для обучения, плюс хитроумные обвязки, плюс RAS и т.д. — всё лучше синтезируют свой обучающий набор в полезные ответы. Для некоторых сценариев использования, таких как программирование, это уже очень полезно и, вероятно, станет хотя бы немного лучше, прежде чем упрётся в ограничения обучающего набора.
Это не приведёт к AGI, главным образом потому что сегодняшний рецепт AI-продуктов не рассчитан на AGI. Некоторые верят, что это приведёт к AGI, потому что производительность и применимость LLM были эмерджентными. Есть основания полагать, что AGI мог бы возникнуть аналогичным эмерджентным образом. В конце концов, то, что мы интуитивно называем нашим сознанием, возникло из сети нейронов.
Я в это не верю, главным образом потому что сеть нейронов и то, как они взаимодействуют в наших влажных медленных электрохимических мозгах, хотя теоретически и математически эквивалентны программной нейронной сети, недостаточно хорошо поняты, чтобы сказать нам, насколько близка программная нейронная сеть к практической эквивалентности. Шансы на то, что сознание возникнет из той же нейронной сети, что дала нам LLM, без какого-то теоретического прорыва, кажутся очень малыми.
- bentt
Мне нравится эта мысль, но когда я слышу этих больших публичных AI-деятелей, я всегда пропускаю их слова через фильтр «Как это выставляет меня?». В случае LeCun он публично отчитал LLM и пошёл в радикально другом направлении. Когда он говорит, что LLM не приведут к сценарию судного дня, я не могу не думать, что сказать иначе означало бы обесценить его решение отказаться от этой парадигмы.
- stratos123
LeCun также говорил ещё в 2022 году, что «если обучить машину, настолько мощную, насколько это возможно, ваш „GPT-5000“, на тексте», она никогда не сможет выучить базовую житейскую физику — например, что предметы, поставленные на стол, будут двигаться вместе с ним.
- dzink
Огромная часть людей одурманена бесконечным потоком коротких видео и игр, отключающих кору мозга.
Другая огромная часть слишком отвлечена тем, что приходится выживать, работать на нескольких работах или растить детей и держаться на плаву финансово, пока не вымотаются до предела. Эта вторая группа будет только расти по мере того, как первая в неё перетекает.
Остальные — стареющие, инвалиды или слишком юные — и они в основном загоняют себя в первую категорию, пока не попадут во вторую.
Люди, достаточно осознанные, чтобы сохранить свой мозг и что-то с ним сделать в свободное время, пытаются разобраться в AI и в том, как на нём заработать. Переменное подкрепление от продвижения AI у некоторых из них превращается в зависимость, особенно когда они хватаются за соломинку без особого понимания поставленных проблем.
Так что если вы способны парить над зависимостями, порождёнными AI, и у вас есть привилегия времени этим заниматься, посмотрите, что вы можете сделать.
- edot
Абсолютно в точку. Наконец-то кто-то значимый в индустрии говорит, что весь этот страх раздут. Билл Гейтс в интервью у Эзры Кляйна звучал как нетехнический чудак, который просто орал, что Терминатор реален.
Есть куча реальных тревог (использование правительством для подавления людей при минимальных людских ресурсах или народной поддержке, отупение и фейковые новости, безработица из-за веры в то, что LLM могут заменить людей, крах образования и т.д.), на которые нам вместо этого стоит смотреть. Вся эта шумиха про вышедший из-под контроля AI утомляет.
- figassis
«Он объясняет эти инциденты плохим человеческим надзором и дизайном систем и говорит, что они „полностью предотвратимы“» — я знаю, что его уважают, но это звучит как слова человека, которому заплатили за это. Разве большинство рисков вымирания не предотвратимы при лучшем человеческом надзоре и дизайне систем? Я имею в виду, в нас может врезаться астероид, но помимо этого разве не в том смысл разговора о проблеме, что мы можем её предотвратить, а неспособность сделать это и приводит к ней? Что он говорит такого, чего я не улавливаю?
- yewenjie
LeCun стабильно ошибается последние десять лет, не уверен, почему его продолжают усиливать.
Правка: я уверен, это отрицание.
- Symmetry
Yann LeCun и Andrew Ng примечательны тем, что они единственные две крупные фигуры в AI, придерживающиеся такого мнения.
- mdp2021
> В частности, AMI строит world models, которые используют JEPA (Joint Embedding Predictive Architecture) — архитектуру нейронной сети, которую LeCun разработал и которая учит модели предсказывать данные в репрезентационном пространстве внутри средних слоёв нейронной сети, а не генерировать сырые пиксели, как многие конкурирующие world models, или слова, как это делают LLM. // Основное внимание компании пока сосредоточено на промышленных применениях. «Это AI для физического мира, так что он не связан с языком», — сказал LeCun. «Это системы, которые понимают реальный мир, например завод или турбореактивный двигатель». Некоторые из основных применений — обнаружение аномалий или робототехника: «Если у вас есть машина, и вдруг она издаёт странный звук и начинает ломаться, вы бы хотели обнаружить это как можно раньше». Он также привёл пример системы, которая могла бы понимать мир так, как это делает кошка, — например, знать, что если столкнуть вазу со стола, она упадёт.
А как же управление концепциями? Мир состоит не только из физических сущностей, которые нужно вставить в модель. Что насчёт их перевода в слова (чтобы, например, выразить оценки)?
- pzo
Geoffrey Hinton (настоящий крёстный отец AI и лауреат Нобелевской премии), который был научным руководителем LeCun, назвал своего студента (LeCun) сумасшедшим в одном интервью, насколько мне известно.