신경망 내부에 숨겨진 기호 구조: LLM의 비밀을 밝히다
The Emergent Symbolic Structure of Artificial Neural Networks
AI 시스템은 논리나 언어 같은 기호적 구조를 다루는 데 탁월하지만, 신경망은 정보를 연속적인 벡터로 표현한다. 벡터가 기호 구조를 담기엔 부족해 보이는데 어떻게 이런 성능을 낼까? 이 논문은 신경망의 내부 표현이 사실상 기호 구조를 암묵적으로 구현한다는 가설을 제시한다. 연구진은 다양한 신경망의 벡터 표현이 기호 구조로 근사될 수 있음을 보였고, 특히 LLM의 산술, 논리, 코드, 언어 영역에서 이러한 근사가 가능함을 확인했다. 또한 이 기호적 근사를 통해 LLM의 내부 표현에 정밀한 개입을 가해 행동을 의도적으로 수정하는 데 성공했다. 이는 기호적 지능 개념과 현대 AI의 벡터 기반 방식을 연결할 잠재적 방법을 제시한다.
벡터는 언어, 논리 및 기타 인지 영역의 구조를 포착하기에 부적합해 보이지만, 신경망은 이러한 영역에서 인상적인 성능을 달성합니다.
HN 토론
108- sigpwned
제가 얻은 큰 질문들은 다음과 같습니다:
(1) 그들은 무엇보다도 LLM의 명백히 전단사적인 닫힌 형태의 기호적 표현/근사를 만들어낸다고 주장합니다. 이러한 닫힌 형태의 표현을 평가하는 것이 더 계산적으로 효율적인가요? 그 의미는 잠재적으로 엄청납니다. 본질적으로 분석적 증류가 될 것입니다. 데이터 센터가 아닌 칩 하나에 담긴 우화는 여러 면에서 중요하고 혁신적일 것입니다.
(2) 비지도 및 지도 기호적 문제 해결 접근법은 무엇보다도 조합적 폭발로 인해 무너집니다. 이것은 잠재적으로 LLM 훈련과 추론을 다른 접근법으로는 도달할 수 없었던 새로운 종류의 복잡한 문제를 해결하기 위한 새로운 기호적 접근법을 찾는 검색 알고리즘으로 취급할 수 있게 해줄 수 있습니다. 그것이 작동한다면, 그것도 피드백 루프일 것이라고 생각합니다. 한 표현에서의 학습이 다른 표현의 발전을 촉진합니다. 또한 모델 자체가 이제 가치 있기 때문에 대규모 훈련 실행의 경제적 가치를 증가시킬 것입니다. 추론뿐만 아니라 모델 자체도 가치가 있습니다.
(3) 위의 내용에 따라, 이것이 LLM 설계를 더 큰 능력으로 이끌 수 있을까요?
이것과 Anthropic의 J-공간 관찰 사이의 관계도 흥미롭습니다. 그러나 이것은 훨씬 더 깊고 직접적으로 실행 가능합니다.
편집: 제 질문을 Sonnet에 돌려보냈습니다. 네, 아이러니를 알고 있습니다. 그리고 그것은 질문 (1)과 (2)에 대해 그다지 낙관적이지 않았지만 (3)은 합리적이라고 생각했습니다. 어쨌든 이것은 꽤 훌륭한 논문입니다. 곰곰이 생각해 보면, 저는 실제로 그 논문이 [...]라고 생각합니다.
- adsharma
저는 이 결과에 고무되었습니다. 이것이 latentpedia.org의 주요 가설입니다.
모델의 기하학을 거대한 지식 그래프로 증류하는 대신, 우리는 가장 큰 알려진 오픈 소스 그래프에서 시작하여 이 기하학과 유사한 것을 향해 구축합니다.
와서 함께하세요. github.com/latentpedia에서 논의하세요. 기본 기술은 갖추고 있습니다. 더 많은 컴퓨팅, 저장 공간, 그리고 서비스 비용을 충당할 충분한 사업이 필요합니다.
- jsrozner
이러한 지도* 해석 가능성 접근법 중 일부의 큰 문제는 그들이 거짓 구조를 찾을 수 있다는 것입니다. (모델이 원하는 대로 행동하게 만드는 방법은 많습니다. 이는 대략 Hewitt와 Liang 2019가 보여준 것입니다.) 이 논문은 20페이지에서 이전 방법인 DAS(분산 정렬 검색)와 대조를 이룹니다. 이것들과 관련된 방법들은 인과적 추상화 이론에 기반을 두고 있으며, 이론적으로는 훌륭하지만 실제로는 더 어렵습니다. 예를 들어 DAS는 최근 많은 비판에 직면했습니다 (Makelov 2024, Meloux 2025, Sutter 2025, Grant 2026, Kumon 2026). 제가 가장 좋아하는 것은 매우 접근하기 쉬운 Meloux 등의 논문입니다. Sutter 2025도 정말 좋지만, 모든 입력의 무손실 인코딩을 허용하는 일종의 실수 인수에 의존합니다.
제 forthcoming EMNLP 논문은 대신 적대적으로 교란할 때 모델 학습/행동에 미치는 영향에 대한 매우 단순한 개념으로 표현의 개념을 grounding하는 대안을 제공합니다. 예를 들어, 모델에게 "오리가 꽥꽥거리는 것을 보았다"라는 맥락에서 'duck'을 'glam'으로 바꾸라고 말하면, "회의에서 빠져나가야 한다"와 "공원에서 오리가 새끼 오리를 보호했다"에서 'duck'을 'glam'으로 바꾸고 싶어하는 정도가 얼마나 될까요? 이 방법은 꽤 잘 작동하는 것으로 밝혀졌으며, 단일 예제만 사용하므로 지도 학습의 필요성을 피합니다.
링크된 논문은 그들의 방법인 DISCOVER가 인과 효과를 직접 최적화하지 않기 때문에 DAS와 같은 방식으로 지도 학습이 아니라고 주장합니다. 저는 이 논문을 대충 훑어봤을 뿐이지만, [...]
- jkingsman
여기서 수학과 핵심 실험은 제 능력을 넘어서지만, 제가 이해한 바에 따르면 LLM에 존재하는 더 깊은 표현 패턴이 있을 수 있으며, 이는 문법의 핵심 개념적 관계를 증류한 것으로, 레이어에 번진 것처럼 보이는 노이즈가 어떻게든 (의미 있는 방식으로) 해석할 수 없게 올바른 문법/추론으로 해결되는 것이 아니라 수학적 의미로 이해할 수 있다는 것입니다.
그것은 꽤 멋집니다. 제가 대략적으로 맞게 이해했으면 좋겠네요.
- gps372
기사를 읽으면서 저는 왜 이것이 바이트 코드에서 Java 프로그램을 복구하는 능력보다 더 흥미로운지 궁금했습니다. 그래서 Copilot에게 같은 질문을 했습니다. 그것은 저에게 말했습니다 - "솔직히 이것은 엔지니어와 연구자의 차이가 드러나는 곳입니다!"
- profsummergig
인간의 마음은 다차원 공간의 용량을 이해할 수 없습니다.
2D에서 3D로 가는 것만으로도 엄청난 새로운 위치적 잠재력이 생깁니다 (예: 지구 표면 vs. 지구 위의 대기).
이제 1,000차원을 상상해 보세요.
- 4b11b4
합리적으로 들리네요... 모델이 때때로 본질적으로 기호적인 무언가의 손실 있는 벡터 표현을 학습한다는 것... 물론, 신경망은 함수를 근사할 수 있죠?
그들은 이것이... 그들이 찾은 몇 가지 예시에서 성립한다고 말하나요?
저는 이 분야에 대해 잘 알지 못합니다.
- squidbeak
이런 것들을 읽으면 (비전문가로서), 이것들을 '다음 토큰 예측기'로 치부하는 것은 터무니없이 축소적인 것 같습니다. 언젠가는 '선택'이 예측보다 더 나은 용어라는 것을 인정해야 할 것입니다.