‘Attention’이 지능의 본질일까?
Is 'Attention' the Essence of Intelligence?
2014년 Dzmitry Bahdanau가 기계 번역의 병목을 해결하기 위해 고안한 ‘attention’ 기법은 2017년 Google의 transformer 아키텍처로 발전하며 ChatGPT와 Claude 같은 대규모 언어 모델의 토대가 됐다. 이 기사는 attention이 어떻게 문맥을 수학으로 변환하는지, 그리고 다음 단어 예측이라는 언어 모델링이 왜 ‘AI-complete’로 간주되는지를 설명한다.
“그건 꽤나 큰 도약이죠, 그렇지 않나요?”
HN 토론
77- antics
NLP 하는 사람으로서 이런 설명에 동의하기는 매우 어렵다. 왜냐하면 Vaswani et al.의 transformer는 (여기서 설명된 대로) 가장 중요한 재료인 positional encoding을 추가하기 전까지는 전혀 작동하지 않기 때문이다.
문장의 의미 대부분은 토큰이 나타나는 정확한 순서에 의해 결정된다. 이는 영어 같은 언어에서 가장 쉽게 볼 수 있는데, 두 가지 매우 두드러진 방식으로 드러난다.
첫째, 형태론이 상당히 파생적(derivational)이라서, 어떤 것에 계속 접미사를 붙여도 영어 화자는 대체로 무슨 뜻인지 이해한다. 예를 들어, 그 단어에 접미사를 더 붙여보자: derivational-ish-ly. 이 특정 변형을 들어본 적은 없겠지만, 그래도 무슨 뜻인지 어렴풋이 짐작할 수 있을 것이다. transformer는 접미사가 단어 어근(아마도 `deriv` 같은 것)의 의미를 굴절시킨다는 사실에 대한 표현을 가지고 있어야만 이런 의미를 포착할 수 있다. 영어는 이를 전적으로 어근에 대한 접미사의 위치로 부호화한다. positional 정보가 없으면 이를 복원할 방법이 없고, 영어가 이 구성에 크게 의존하기 때문에 문장은 많은 의미를 잃게 된다.
둘째, 영어는 격(case)이 상대적으로 적어서 주어와 목적어가 무엇인지 나타내기 위해 단어 순서에 매우 크게 의존한다. 특히 영어는 Subject-Verb-Object이고, 원어민 영어 화자가 SVO 어순을 사용하려는 본능은 너무 강해서, 명사와 p […]
- jvanderbot
CS 논문을 읽는 제1원칙 - 의인화된 용어를 믿지 말 것. 제2원칙 - 그 용어를 실제 마음에 절대 확장하지 말 것.
물론 attention은 거의 확실히 독자가 사용하는 휴리스틱이지만, 그것을 지능의 핵심이라고까지 언급하는 것은 LLM과 마음에 관한 너무 많은 질문을 제기한다...
- scarmig
"attention"이라는 용어는 밝혀주기보다 혼란을 더한다. 잘 알려진 용어를 인간 뇌가 작동하는 방식에 대한 약한 유추와 맞바꾸는 것이다. Kernel smoothing이면 충분하다.
- andy_ppp
원래 논문 제목은 눈에 띄지만, 실제로는 "positional encoding과 attention, 그리고 attention head 전반의 병렬성이 전부 필요한 것..."에 가깝다.
그리고 알고 보니 엄청난 컴퓨팅, 약 1/3의 RLHF, 전 세계의 모든 데이터, 그리고 수백만 명이 자신의 사적 데이터를 AI에 연결해 학습하게 하는 것 등등이 필요하다 :-/
- 0xWTF
이것이 핵심 통찰이며, 원래 대학원생 저자 본인의 말로 하자면 이렇다:
https://www.quantamagazine.org/is-attention-the-essence-of-i...
"'it'과 같은 대명사가 들어간 문장은 attention이 극복하는 과제를 잘 보여준다. 다음을 보자: 'The animal didn’t cross the street because it was too tired.' 그리고 'The animal didn’t cross the street because it was too wide.' 이 문장들을 프랑스어로 올바르게 번역하려면, AI 모델은 첫 번째 문장에서 'it'이 동물을 가리키며, 프랑스어에서 동물은 남성 명사이므로 번역에서 대명사 il의 형태를 써야 한다고 판단해야 한다. 하지만 두 번째 문장에서 'it'은 거리를 가리키며, 거리는 여성 명사라서 다른 대명사 elle이 필요하다. 기계가 이걸 어떻게 알아낼 수 있을까?"
"Bahdanau는 학교에서 영어를 배울 때 번역 연습을 했던 것을 기억했다. 번역문의 다음 단어를 쓸 때마다, 그는 다음에 무엇이 와야 할지 알아내려고 원문 전체를 두리번거려야 했다. "말 그대로 왼쪽에는 원문 문장이 있고 오른쪽에는 당신이 쓰는 글이 있어서, 고개를 왼쪽-오른쪽, 왼쪽-오른쪽 돌리게 된다"라고 그는 말했다. "그 과정을 내가 신경 메커니즘으로 표현한 것이다."
그 단순함이야말로 이것이 진짜 통찰이라는 진짜 증거인 것 같다. 저자는 독자를 긴 방해물 목록 너머로 잘 안내하고 통찰로 가는 길 같은 느낌을 불러일으킨 뒤, 통찰을 제시한다 - 단순한 과제의 단순한 부호화: "다음 단어는 무엇인가? 어떻게 하면 […]