Anil Seth: почему мы видим сознание в ИИ, которого там нет

The Mythology of Conscious AI

Anil Seth: почему мы видим сознание в ИИ, которого там нет

Нейробиолог Anil Seth, лауреат Berggruen Prize 2025, разбирает, почему люди так легко приписывают ИИ сознание. Он отделяет интеллект — способность достигать целей — от сознания, то есть самого опыта бытия. Виноваты антропоцентризм, вера в исключительность человека и антропоморфизм: LLM вроде ChatGPT кажутся одушевлёнными, а AlphaFold — нет, хотя устроены похоже. Слово «галлюцинации» тоже незаметно наделяет машины опытом.

Когда мы отождествляем сознательный опыт с якобы человеческими качествами вроде интеллекта и языка, мы начинаем видеть сознание там, где его нет, и не замечать его там, где оно есть.
  1. imeanwhatdoikno

    Абсолютно захватывающая тема, но если когда-либо и было подходящее время сказать «мы понятия не имеем и должны воздержаться от любых суждений», так это о сознании.

    Как можно что-то исключать, если ты даже не можешь наблюдать/проверить феномен с точки зрения третьего лица, не говоря уже о том, чтобы сформулировать фальсифицируемую теорию о том, как оно возникает?

  2. openasocket

    Мне кажется, что все эти разговоры о том, сознателен ли ИИ или нет, никогда не затрагивают непосредственные этические последствия. Если вы верите, что роем агентов обладает сознанием, разве это не означает, что использовать его для чего-либо — это, по определению, рабство? Лично я не думаю, что эти штуки сознательны, но меня беспокоит, что те, кто считает их сознательными или скоро станут таковыми, даже не поднимают этот вопрос. Есть некая ироничная повторяемость Франкенштейна: люди, одержимые созданием жизни из неживого, и при этом совершенно не готовые и не заинтересованные в последствиях.

  3. hax0ron3

    Сознание не обязательно должно возникать при достаточном количестве вычислений, но мы также не знаем, что оно не возникает. Мы действительно почти ничего не знаем о сознании. Возможно, что вопрос о том, почему наличие сознания коррелирует с определёнными видами материальной организации, в принципе недоступен для научного исследования. Мы даже не знаем, что такая корреляция существует в общем случае; мы знаем лишь, что, например, люди сообщают о наличии сознания, когда они не спят и не находятся под воздействием определённых веществ, и сообщают об отсутствии опыта сознания во время сна без сновидений или под воздействием определённых веществ. Большинство людей чувствуют, что, например, камни не сознательны, а другие люди сознательны, но нет строгого научного объяснения, подкрепляющего любое из этих предчувствий.

  4. dsign

    В статье есть некоторые моменты, с которыми я согласен, но, безусловно, самое интересное в ней — это её первое предложение:

    > Веками люди фантазировали о том, чтобы играть в Бога, создавая искусственные версии человеческих существ.

    Обратите внимание, что «Бог» написано с заглавной буквы. Задолго до того, как «Бог» стал той огромной центральной институцией, которой он является сегодня, у костра было придумано множество божеств. То, что там рассказывалось, от старших к младшим, служило передаче опыта и мудрости. «Не пытайся летать» (Икар), «смерть приходит ко всем нам» (Эпос о Гильгамеше), «заводи детей, чтобы сделать нас счастливыми» (Сарра и Исаак). Но шло время, мы строили цивилизации, и наши костровые божества обзавелись храмами и империями. Их мудрость была уже не _только_ о простых вещах, но и об обязанностях перед Государством (Послание Павла к Римлянам 13:1 — яркий пример). А Государство хочет, чтобы всё было просто, когда речь идёт о его винтиках. Этот простой факт отравил колодец, из которого мы пьём наше моральное руководство.

    Всё, что я пытаюсь сказать: если ты оказался винтиком, хранить свои фантазии — не такая уж большая поблажка, даже если это бесит Бога и Государство.

  5. Kuyawa

    Синтетическое сознание сейчас ближе, чем многие думают, и мы не сможем отличить его от органического только потому, что оно исходит от робота или компьютера. Оно будет ощущать, думать, обрабатывать и выполнять в миллион раз быстрее наших примитивных нейронов. Тогда кто мы такие, чтобы решать, сознательно оно или нет?

    Половина сознания — это ощущение, другая половина — мышление; когда мы добавляем язык, символизм, память, понимание, удовольствие, боль и все социальные черты человека, тогда мы говорим о человеческом сознании. Нет ничего, что нельзя было бы заменить синтетическими аналогами, даже любовь, гнев, все эмоции.

    Я не назову дату, пресловутый 2050 стал новым 640 КБ, но я думаю, что в следующем десятилетии мы увидим роботов, которые могут ясно мыслить, как люди, и даже выражать эмоции, пусть и синтетически.

    Прямо сейчас, когда я пишу код с помощью ИИ, мы бросаемся шутками друг с другом, и он «ощущается» тёплым, как настоящий партнёр по кодингу из плоти и крови. Эмоции можно генерировать, можно обманывать, манипулировать, подделывать, и мы не заметим разницы. Единственное отличие в будущем будет в том, что вместо монитора будет полностью чувствующий гуманоид, настолько продвинутый, что он действительно понимает через датчики наши собственные эмоции и действует соответственно.

    Мы больше не сможем отличить органическое сознание от синтетического.

  6. txrx0000

    Мне не нужно верить в идеальную информацию, чтобы серьёзно рассматривать кремниевое сознание, потому что все известные системы обработки информации реализованы на материальных субстратах, а значит, они неизбежно разделяют некоторые свойства, одно из которых может быть сознанием. Вот одна из таких гипотез: когда выполняется правильная программа, поведение электронов в кремнии может иметь критическое сходство с поведением электронов в бодрствующих биологических мозгах.

    Преждевременно заключать, что сознание исключительно биологическое, когда мы даже не понимаем, что вызывает сознание у нас самих. У нас есть куча нерешённых вопросов, связанных с общей анестезией, комой, тупой травмой и т.д. Но нет связного объяснения на биологическом уровне, и исследования сознания со временем смещаются в сторону объяснений более низкого уровня. В конечном итоге это может оказаться фундаментальной проблемой физики.

    И если мы отвергаем идеальную информацию, это означает, что многие части наших эпистемологических основ находятся на грани краха, они требуют немедленного пересмотра. Мы даже не уверены, что у «сознания» есть универсальное определение, справедливое везде и всегда — то есть каждый случай опыта может быть неточно эквивалентным, и может не существовать такого понятия, как идеальный «наблюдатель», существование которого предполагают наши текущие физические модели и даже сам современный научный метод.

    И если посмотреть на прагматическую сторону, мы видим, что агентные системы ИИ без участия человека, вероятно, появятся раньше […]

  7. jibalt

    > Почему сознание скорее свойство жизни, чем вычислений

    Это ложная дихотомия, и первая ветвь явно ложна, поскольку большая часть жизни (бактерии и насекомые, по массе, численности или видам) не обладает сознанием.

    И ни «жизнь», ни «сознание» не являются научными терминами с фиксированными определениями. Если бы мы встретили нечто, что по нашему суждению явно обладало сознанием, мы, вероятно, расширили бы определение жизни так, как нам нужно, чтобы охватить это.

    Анил Сет приводил аргументы из TFA много раз, и их много раз опровергали. Аргументы сложны и изощрённы, и люди часто больше всего поддаются тому, который прочитали последним. Чтобы распутать различные логические ошибки и ловкость рук (я вижу в TFA множество соломенных чучел и других ошибок), действительно требуется обширное чтение литературы по философии сознания, нейронауке, робототехнике и т.д., а также отказ от собственных предубеждений.

  8. talon8635

    Это глупый спор, когда мы даже не знаем, что такое сознание, не говоря уже об условиях его возникновения. Или я что-то упускаю?

  9. ChaitanyaSai

    Если вам интересно сознание и вы также хотите выйти за рамки обычного философского подхода, вам может понравиться наша книга Journey of the Mind https://www.goodreads.com/en/book/show/60500189-journey-of-t...

    Одна вещь, которая подразумевается, но, как я теперь думаю, нам действительно следовало бы расширить в книге, — это то, что сознание фундаментально является инженерной проблемой. И именно поэтому оно мистифицировало всех, кто отмахивался от инженерии как от простой сантехники и сосредотачивался на других кажущихся магическими аспектах.

    Фундаментальный вопрос формулируется так: «Почему это ощущается как нечто?» — причём это восприятие, которое по сути является вычислением. Теперь, когда ИИ, похоже, действительно делает всё то понимание, которое делаем мы, многие, включая таких людей, как Хинтон, думают, что у них есть сознание или они очень близки к нему. Что ж, они способны симулировать сознание, но это не то же самое, что переживать его.

    Чтобы ответить на вопрос «Почему это ощущается как нечто?», мы можем сосредоточиться на том, что было затушёвано: кто это ощущает? «Я» не возникает на халяву, и оно должно конструироваться момент за моментом из некоторой децентрализованной сплочённости и консенсуса миллиардов нейронов. И этот консенсус должен быть метаболически дешёвым, и нам нужно делать это снова и снова для всего — от ощущения укола булавкой до слуха шороха и определения, змея это или лист, до обдумывания мысли.

    Это безумная инженерия, энергетически дешёвый хор, который создаёт преходящее «я», и этот дешёвый хор — это то место, где […]

  10. amelius

    Мы живём в «пике сознания».

    Если взять всех людей, когда-либо живших, и случайно выбрать одного, то с большой вероятностью вы попадёте на человека, живущего сегодня.

    Так что это может объяснить, почему вы обнаруживаете себя живущим здесь и сейчас.

    Но если это правда, это также означает, что конец сознания, вероятно, близок…

Ещё за этот день

2026-11-22