Qwen3-1.7B의 잔차 공간을 지도로 그려보니, 수천 개의 대화가 얇은 시트로 압축됐다

What thousands of conversations look like inside a language model

Qwen3-1.7B의 잔차 공간을 지도로 그려보니, 수천 개의 대화가 얇은 시트로 압축됐다

Qwen3-1.7B의 잔차 스트림에서 수천 개 대화의 내부 상태를 3D로 시각화한 탐험기. 영어·중국어·독일어·크로아티아어 질문과 Python 코드 예제를 모아 토큰 경로를 그려보니, 영어 대화는 놀랍게도 99.3%의 변동이 하나의 평면에 담기는 얇은 시트 형태를 보였다. 언어별로 영역이 겹치며 갈라졌고, 코드는 영어 근처에 나타났다. 그러나 3D 화면은 전체 변동의 17.6%만 포착해, 지도가 무엇을 보여주고 무엇을 감추는지 따져 묻게 한다.

보이는 시트는 3D 뷰의 거의 모든 변동을 담고 있었지만, 그 뷰는 원래 변동의 82.4%를 놓치고 있었다.

이 날의 다른 글

2026-11-15