ИИ — суровая госпожа: почему мы готовы принять сознательные машины
AI Is a Harsh Mistress
В своей колонке для CACM автор размышляет о том, как мы относимся к идее сознательных машин. Он вводит понятие «anima machina» — души машины — и анализирует феномен «стадного принятия» (herd acceptance), когда общество коллективно соглашается на новую реальность, даже если она пугает. Автор утверждает, что вопрос не в том, могут ли машины думать, а в том, как мы, люди, политически и эмоционально готовы признать их субъектность. Это эссе о власти, страхе и будущем, где граница между человеком и ИИ стирается быстрее, чем мы успеваем её осознать.
Вопрос не в том, обладают ли машины сознанием, а в том, готовы ли мы признать их субъектность — и что это признание сделает с нами.
- matherial
Похоже, это эссе на 100% сгенерировано ИИ, не первое от ACM и не последнее. Решайте сами, хотите ли вы провести день, читая и споря с этой статьёй; автор, надо полагать, не стал.
- sebmellen
В последнее время я читаю «Луна — суровая госпожа» и поражён тем, насколько она пророческая. Я даже удивлён, что не встречал больше упоминаний о ней в контексте сегодняшнего ИИ.
- GPerson
«Значительная часть современных дискуссий о сознании ИИ опирается не на эмпирические данные, а на функционализм...» На мой взгляд, эмпирического теста на сознание не может быть в принципе, потому что функционализм неверен. Если бы функционализм был прав, такой тест существовал бы. Не существует стороннего теста для феномена, который по своей сути является феноменом первого лица.
- entropyneur
Идея о том, что нам грозит опасность ошибочно приписать сознание ИИ, кажется мне дикой. Люди всегда предполагают то, что удобно, относительно субъективного опыта (или его отсутствия) у других существ, пока у нас есть власть над ними. В данном случае последнее может перестать быть верным, но тогда уже будет неважно, что мы думаем.
- xg15
> Сознание, в употреблении Чалмерса, — это субъективный опыт: есть нечто, каково это — быть сознательной системой. Тем не менее, ни в архитектуре Transformer, ни в предсказании следующего слова нет ничего, что показывало бы существование такой внутренней точки зрения. Самоотчёты («я чувствую») и беглая беседа — слабые доказательства, поскольку эти модели обучаются на огромных корпусах, насыщенных человеческими высказываниями от первого лица. Такой тип вербального отчёта работает для людей, потому что он основан на общей биологии и поведении, однако для машин это лишь эхо обучающих данных.
Я не хочу здесь спорить о том, что у LLM есть сознание, но такого рода аргументы меня раздражают, потому что это выглядит как интеллектуальное жонглирование.
Не существует определённого способа (пока) доказать, что кто-либо, кроме тебя самого, обладает квалиа или субъективным опытом.
Так что утверждать, что мы не можем наблюдать субъективный опыт у LLM, и поэтому у них его не может быть, — дёшево: вы не можете наблюдать его и у животных, и у человека, сидящего рядом с вами.
Часть о том, что самоотчёты бесполезны и LLM звучат по-человечески, потому что выдают последовательности из человеческих обучающих данных, верна. Но статья подразумевает некое фундаментальное различие между машинами и сознательными существами, которое никогда не может быть преодолено. И я не вижу никаких оснований так предполагать.