선형 계층에서 self-attention까지, 메모리 저장소로 본 트랜스포머

You could have invented transformers from memory

선형 계층, MLP, self-attention을 각각 메모리 저장소로 해석하면 용량을 직관적으로 유도할 수 있다. 외적 저장소는 키 차원만큼만 기억하지만, 최적 선형 저장소는 그 두 배를, self-attention은 사실상 무한에 가까운 기억을 저장한다. 64차원 키 기준으로 약 64개에서 2,700개, 다시 백만 개 이상으로 뛰어오르는 셈이다.