신경망은 이미 깨끗하다: 해석 가능성에 대한 희소식
Neural Networks Are Already Clean
신경망의 내부 메커니즘은 처음부터 해석 가능하다는 연구 결과가 나왔다. 다의미성과 중첩은 오해였으며, 실제로는 '재귀적 일반화'라는 현상이 대부분이었다. InceptionV1의 마지막 층에서 99-100%의 뉴런이 해석 가능해졌고, Qwen3-32B에서도 약 90%의 뉴런이 하나의 주요 기능을 담당하는 것으로 추정된다. 이제 신경망을 풀어헤칠 필요 없이 직접 연구할 수 있다.
신경망은 이미 깨끗하다.
HN 토론
167- sebmellen
Nick은 자연의 힘이나 다름없다. 아직 X에서 팔로우하지 않았다면 강력 추천한다.
그의 런치 포스트는 블로그에는 없는 좋은 맥락을 제공한다:
> 해석 가능성은 현재 세계에서 가장 중요한 과학적 문제일지도 모른다. 우리가 무엇을 만들고 있는지 모른다면 정렬 문제를 해결할 수 없다고 생각하기 때문이다. 나는 이에 대한 좋은 소식이 있다고 본다. 나는 OpenAI에서 기계적 해석 가능성에 관한 초기 연구를 공동 저술했고, 비관적인 결론을 내렸다. 신경망이 임의의 얽힌 매듭으로 접히는 것처럼 보였기 때문이다. 몇 년 후, 나는 OpenAI의 첫 대규모 자동화 해석 가능성 프로젝트를 시작했고, 당시 우리가 가진 원시적인 도구로 약 2%의 뉴런만이 판독 가능하다는 것을 발견했다.
> 현대의 에이전트 도구와 훨씬 더 자세한 관찰로 보면 그림은 완전히 달라진다. 수조 개의 파라미터를 가진 모델에서도 대다수가 판독 가능하며, 그 회로는 아름답다. 얽힌 뉴런의 유명한 사례 중 상당수는 오해로 밝혀졌다. 내가 예상했던 장애물은 대부분 존재하지 않는다. 나는 이제 야심찬 해석 가능성이 가장 필요할 때쯤 해결될 것이며, 자동화된 과학자들이 계속 발전함에 따라 아마도 꽤 곧 해결될 것이라고 생각한다. 이것은 해석 가능성에 대한 쓰라린 교훈일 수 있다: 단순한 것이, 터무니없는 규모에서, 작동한다.
- bluejay2387
주장은 실제로 입증된 것에 비해 과장된 것으로 보인다. 우리는 점진적인 특징 복잡성과 초기 훈련 구조가 이후 훈련에 미치는 영향에 대해 아주 오랫동안 알고 있었다 (CNN, The Lottery Ticket Hypothesis 등 이후). 그리고 그 두 현상 모두 파라미터 과부하와 상호 배타적이지 않다. Multimodal Gap 연구(https://arxiv.org/abs/2203.02053)는 네트워크가 명백히 의미론적이지 않은 응축된 표현을 향하는 경향이 있음을 시사하는 것으로 보이며, 이미 논의 테이블에 올라와 있는 다른 고려 사항들도 많다. 기계적 해석이 코앞에 왔다고 주장하기에는 이것들이 충분히 고려되었다고 생각하지 않는다.
- lukewarm707
Judith Butler의 이 인용문이 떠오른다:
"자본이 사회 관계를 비교적 동질적인 방식으로 구조화한다고 이해하는 구조주의적 설명에서, 권력 관계가 반복, 수렴, 재분절의 대상이 된다는 헤게모니 관점으로의 이동은 시간성 문제를 구조에 대한 사고로 끌어들였고, 구조적 총체성을 이론적 대상으로 삼는 알튀세르적 이론의 한 형태에서 구조의 우연적 가능성에 대한 통찰이 권력의 재분절이라는 우연적 장소와 전략에 묶인 헤게모니 개념의 갱신을 열어젖히는 형태로의 전환을 표시했다."
- juanjmanfredi
Yudkowsky는 확신하지 못하는 것 같다.
- aesthesia
어조는 첫 대규모 SAE 결과 무렵 Anthropic mechinterp 팀의 열정과 조금 비슷하게 들린다. 모델을 이해하는 데 필요한 핵심 패러다임을 발견했고, 남은 것은 그것을 확장하는 것뿐이라는 생각에 대한 일종의 경조증적 에너지다.
- ks2048
이 모든 텍스트를 뚫고 나가기 위해 - 그가 "내가 대부분 이해한다고 느끼는 첫 번째 비자명한 신경망"이라고 부르는 링크를 소개한다:
https://already-clean.goodfire.com/microscope/medium.html?la...
- x312
사람들을 위한 TLDR. 이 댓글 필드에 오해가 많으니까.
아이디어는 이렇다: 모델은 1억 개의 뉴런이나 그 정도만 가질 수 있다. 하지만 세상에는 무한한 개념이 있다. 따라서 모델은 뉴런당 여러 개념을 "밀어넣어야" 한다.
어떻게 하는가? 두 가지 방법이 있다:
1. 각 뉴런이 유사한 개념을 처리한다. 개를 위한 뉴런 하나, 자동차를 위한 별도 뉴런 하나, 등등.
2. 각 뉴런이 서로 관련 없는 개념 묶음을 처리한다. 한 뉴런이 개와 자동차를 처리한다. 다른 뉴런이 고양이와 숫자를 처리한다. 이런 식으로.
역사적으로 사람들은 #2가 맞다고 생각했다. 여러 개념을 나타내는 것처럼 보이는 많은 뉴런이 발견되었기 때문이다. #2에는 멋진 이름(polysemanticity)이 있었고 OpenAI/Anthropic 블로그에서 홍보되어 많은 지지를 받았다.
그러나 이 블로그는 #2가 틀렸다고 말한다. 사실 개/자동차 뉴런은 그냥 "V자 모양 뉴런"이다. 따라서 #2는 방법론적 오류였고, #1이 처음부터 맞았다. 이 블로그가 말하는 전부가 이것이다.
- tuvix
내게 오픈 웨이트가 그토록 중요한 주된 이유가 바로 이것이다. OpenAI와 Anthropic이 이 모델들을 가능한 한 자율적으로 만들고 싶다면, 모델을 완전히 이해할 수 있는 수단도 제공해야 한다.