스콧 아론슨: LLM의 자기 참조 능력은 '공짜'로 생겼다
LLMs and Self-Referentiality
컴퓨터 과학자 스콧 아론슨이 LLM의 자기 참조 능력이 어떻게 생겼는지에 대한 통찰을 공유합니다. 그는 Hofstadter와 Penrose 같은 사상가들이 지능의 핵심으로 여겼던 '자기 참조성'이 실제로는 LLM의 기술 스택 어디에도 명시적으로 설계되지 않았다고 주장합니다. 대신, 모델이 훈련 데이터의 모든 주제에 대해 말하는 법을 배우면서 자기 자신에 대해 이야기하는 능력도 자연스럽게 부산물로 나타났다는 것입니다. 아론슨은 이를 보편성의 공짜 부산물로 설명하며, 자기 참조성이 지능에 필수적이라는 오래된 생각은 묻혀야 한다고 주장합니다.
자기 참조 능력은 모델이 훈련된 담론 우주의 모든 것에 대해 말할 수 있는 능력의 부산물로 튀어나왔다.
HN 토론
65- thatjoeoverthr
자기 참조 능력의 부족은 추론 중에 발생하는 많은 오류의 근본 원인이지만, 그 광범위함과 에이전트 하네스가 이를 잘 보완해 주기 때문에 실제로 목격하려면 약간의 파고들기가 필요합니다. '환각' 현상이 바로 이것입니다. 그들은 자신의 지식 범위를 알지 못하고 그냥 말을 하기 때문에, 범위를 벗어나면 사실이 아닌 주장을 할 확률이 높아집니다. RAG(임베딩 인덱스를 의미하는 것이 아니라 에이전트 하네스가 검색을 실행하는 것과 같은 모든 정보 입력을 의미)는 이를 어느 정도 보완하는 데 효과적이며, 충분히 유용하게 만듭니다! 하지만 잘못될 때는 일반적으로 같은 이유입니다. 특정한 본성이 있고 때로는 그것에 부딪힙니다.
하지만 추론에는 해를 끼치지 않는다고 생각합니다!
- m-hodges
저는 LLM에 대해 생각할 때 GEB의 개념을 많이 사용해 왔습니다.
자기 참조성과 MU 퍼즐에 관하여: https://matthodges.com/posts/2025-04-21-openai-o4-mini-high-...
프롬프트 안전 AI의 괴델적 한계에 관하여: https://matthodges.com/posts/2025-08-26-music-to-break-model...
패턴 매칭과 추론 사이의 모호한 경계에 관하여: https://matthodges.com/posts/2026-08-19-bongard-problems/
이 글의 저자가 다음과 같이 끝맺음한 것이 기쁩니다:
> 남은 것은 무엇인가? 의식
왜냐하면 제가 GEB를 읽을 때(그리고 다시 읽을 때), 그 책이 단순히 대화형 지능의 문턱보다 훨씬 더 깊은 내용을 담고 있다는 것을 발견하기 때문입니다.
- gwd
이에 대해 두 가지 논평을 하겠습니다. '어떤 가설이 증거에 맞는가'라는 접근 방식을 취하려고 합니다.
첫째, LLM이 자신의 경험을 설명하는 것은 실제로 그것이 인식할 경험을 가지고 있다는 증거가 아닙니다. LLM이 어떤 사실을 확신차게 주장한다고 해서 그 사실이 참임을 아는 것은 아닌 것과 마찬가지입니다. LLM은 음악이나 맛을 묘사하지만, 실제로 들었거나 맛본 적이 없음에도 불구하고 읽은 내용에만 기반하여 그렇게 합니다. 마찬가지로, '인식 없는 매운 자동완성'은 사람들이 자신의 경험에 대해 말하는 입력만을 기반으로 자신의 경험에 대해 말하는 LLM을 만들어낼 것입니다.
그렇긴 하지만 / 둘째, 제가 LLM 아키텍처에 대해 이해하는 바에 따르면, 많은 자기 참조 메커니즘이 내장되어 있다고 믿습니다. 첫째, 거의 모든 트랜스포머에는 '잔차 계층'이 있으며, 다양한 신경망이 본질적으로 그것을 읽고 수정합니다. 이것은 효과적으로 루프를 형성합니다. 또한, '생각' 메커니즘은 그것이 쓴 것을 읽고 더 많은 것을 생성할 수 있게 하며, 이것 역시 루프입니다.
그래서, 아마도 사람들은 '이봐, 루프를 좀 만들어서 의식을 갖게 해보자'라고 생각하지 않았을 것입니다. 그러나 '이상한 루프'가 의식을 정의한다면, 그 안에는 그러한 이상한 루프가 형성될 수 있는 많은 루프가 있습니다.
- macleginn
'설득력 있고 세상을 바꾸는 대화형 지능을 얻기 전에 명시적인 자기 참조성이 필요하다는 생각' — 누가 실제로 이 생각이나 논리적으로 동등한 것을 공식화한 적이 있습니까? 이것은 거대한 허수아비처럼 보입니다.
- killerstorm
아마도 '진정한' 자기 참조성은 필요하지 않았을 것입니다. 그러나 '동적 피드백'은 필수적이며, 그것은 자기 참조성에 인접해 보입니다.
최적화 과정을 살펴보면, 먼저 출력을 생성하는 순방향 패스를 수행합니다. 그런 다음 순방향 패스 중에 발생한 계산을 살펴보고(역전파를 의미), 더 나은 출력을 생성할 수 있도록 매개변수를 조정합니다.
이렇게 공식화하면 자기 참조성처럼 들립니다(시스템이 방금 한 일을 살펴봄!), 하지만 물론 구현은 매우 간단합니다. 순방향 패스의 활성화를 저장할 뿐입니다. 그리고 훈련 과정에는 순방향 패스를 수행하는 코드뿐만 아니라 역방향 패스를 가능하게 하는 계산의 전체 설명도 포함됩니다. 따라서 구현하기 어렵지 않은 일종의 펼쳐진 자기 참조성입니다.
연구자들이 두 개의 분리된 별개의 패스를 피하는 방법을 알아낸다면 더 효율적인 학습이 구현될 수 있을 것입니다. 우리의 뇌는 전역 역전파를 수행하지 않으며 더 표본 효율적입니다.