Скотт Ааронсон: самоссылочность не нужна для интеллекта — LLM доказали это
LLMs and Self-Referentiality
Скотт Ааронсон, известный специалист по квантовым вычислениям, размышляет о том, что идея о ключевой роли самоссылочности в интеллекте, популяризированная Хофштадтером в «Gödel, Escher, Bach», оказалась неверной. Современные LLM, такие как GPT-5.6 Pro и Fable, демонстрируют интеллект, сравнимый с человеческим, но их архитектура не содержит явных механизмов самоссылочности. Способность моделей рассуждать о себе возникла как побочный эффект обучения на огромных массивах текстов, подобно тому как универсальность компьютеров позволяет им выполнять программы, обрабатывающие собственный код. Ааронсон утверждает, что старые идеи о предсказании, сжатии и сложности по Колмогорову оказались более плодотворными, и предлагает похоронить концепцию необходимости самоссылочности для ИИ среди великих заблуждений прошлого.
Способность LLM говорить о себе возникла как побочный продукт их способности говорить о чём угодно в дискурсивной вселенной, на которой они обучались.
- thatjoeoverthr
Отсутствие самореференции — это корневая проблема, лежащая в основе многих ошибок, возникающих во время инференса, но их широта плюс агентная обвязка успешно это компенсируют, так что нужно немного покопаться, чтобы это увидеть. Феномен «галлюцинаций» — это именно оно. Они не знают границ собственных знаний и просто говорят что-то, поэтому если выйти за пределы, вероятность выдачи утверждений, не соответствующих истине, возрастает. RAG (я имею в виду не индексные эмбеддинги, а любой способ получения информации, например, агентная обвязка, выполняющая поиск) в некоторой степени эффективно это компенсирует, настолько, что делает их очень полезными! Но когда что-то идёт не так, причины обычно те же. У этого есть своя природа, и иногда вы с ней сталкиваетесь. Но, полагаю, это не вредит их рассуждениям!
- m-hodges
Я часто использовал концепции из GEB в своих размышлениях о LLM. О самореференциальности и MU-головоломке: https://matthodges.com/posts/2025-04-21-openai-o4-mini-high-... О гёделевских пределах безопасного для промптов ИИ: https://matthodges.com/posts/2025-08-26-music-to-break-model... О размытой границе между распознаванием образов и рассуждением: https://matthodges.com/posts/2026-08-19-bongard-problems/ Я рад, что автор этого поста заканчивает словами: > Что осталось? Сознание, потому что когда я читал (и перечитывал) GEB, я нахожу книгу гораздо более глубокой, чем просто порог для разговорного интеллекта.
- gwd
Два комментария по этому поводу, пытаясь применить подход «какая гипотеза соответствует фактам». Во-первых, описание LLM собственного опыта на самом деле не является доказательством того, что у неё есть опыт, который можно осознавать, точно так же, как уверенное утверждение LLM любого другого факта не означает, что она знает, что этот факт истинен. LLM будут описывать музыку или вкусы, несмотря на то, что на самом деле никогда ничего не слышали и не пробовали, основываясь только на том, что прочитали о них. Точно так же «невосприимчивый острый автозаполнитель» породил бы LLM, которая говорила бы о собственном опыте, основываясь только на том, что она получила от людей, говорящих о своём опыте. Тем не менее / во-вторых, насколько я понимаю архитектуру LLM, я считаю, что в неё встроено большое количество самореференциальных механизмов. Например, почти у всех трансформеров есть «остаточный слой», который различные нейронные сети по сути читают и модифицируют. Это фактически образует цикл. Кроме того, механизм «мышления» позволяет ей читать то, что она написала, и генерировать больше, что опять же является циклом. Так что, возможно, люди не думали: «Эй, надо построить циклы, может, это сделает её сознательной». Но если «странная петля» — это то, что определяет сознание, то там много циклов, на которых такая странная петля потенциально могла бы сформироваться.
- macleginn
«Но идея, что вам понадобится явная самореференциальность, прежде чем вы получите убедительный и меняющий мир разговорный интеллект?» — кто-нибудь вообще формулировал эту реальную идею или что-то логически эквивалентное? Это похоже на могучее соломенное чучело.
- killerstorm
Возможно, «истинная» самореференциальность не нужна. Но, похоже, «динамическая обратная связь» необходима, и она, кажется, граничит с самореференциальностью. Если посмотреть на процесс оптимизации, сначала выполняется прямой проход, который даёт выход. Затем он смотрит на вычисления, которые происходили во время прямого прохода (я имею в виду обратное распространение), и корректирует параметры так, чтобы, возможно, получить лучший выход. Сформулированная таким образом, это звучит как самореференциальность (система смотрит на то, что она только что сделала!), но, конечно, реализация довольно проста: она просто сохраняет активации из прямого прохода. И процесс обучения включает не только код, выполняющий прямой проход, но и полное описание этого вычисления, которое позволяет выполнить обратный проход. Так что это своего рода развёрнутая самореференциальность, которую нетрудно реализовать. Возможно, более эффективное обучение может быть реализовано, если исследователи найдут трюк, позволяющий избежать двух отдельных, различных проходов. Наш мозг не выполняет глобальное обратное распространение и более эффективен по выборке.