Transformer 내부를 수학으로 해부하다: 2층 이하 모델에서 발견한 induction head
A Mathematical Framework for Transformer Circuits (2021)
Transformer 언어 모델의 내부 동작을 역설계하는 mechanistic interpretability 연구. 2층 이하의 attention-only toy 모델을 분석해 zero layer는 bigram 통계, 1층은 skip-trigram, 2층은 attention head 조합으로 더 복잡한 알고리즘을 구현함을 보인다. 특히 2층에서만 나타나는 induction head가 in-context learning을 설명하며, 이는 더 큰 모델로 이어지는 중요한 전환점이다.
특히 우리가 “induction head”라고 부르는 특정 attention head가 이 작은 모델들의 in-context learning을 설명할 수 있으며, 이 head는 최소 두 개의 attention layer가 있는 모델에서만 발달한다는 사실을 발견했다.
HN 토론
17- myself248
B-H 곡선이나 자화 전류에 대한 내용은 없네요. 분명히 다른 종류의 회로에 있는 다른 종류의 transformer인가 봅니다.
- _jayhack_
LLM이 보여준 외계인 같은 능력을 생각하면, 일반 대중이 mechinterp에 이렇게 관심이 없는 게 충격적이에요. 이 글과 뒤이은 transformer-circuits.pub 논문들은 몇 년 안에 고전적이고 기초적인 연구로 여겨질 겁니다.
- amelius
> 이전 프로젝트인 Distill Circuits 스레드에서는 비전 모델을 리버스 엔지니어링하려고 시도했지만, 지금까지 transformer나 언어 모델을 위한 비슷한 프로젝트는 없었습니다.
그건 얼마나 성공적이었나요?