뉴런 하나가 if문처럼 작동한다면, 신경망은 어떻게 문장을 이해할까
An intuition for how neural nets can understand text
신경망이 텍스트를 이해하는 원리를 네 번의 '아하' 순간으로 풀어낸다. if문처럼 작동하는 단일 뉴런에서 출발해, 단어마다 투표를 학습하는 neural bag-of-words, 단어에 고유한 의미 프로필을 부여하는 embeddings, 그리고 빈칸 채우기 게임만으로 tiger가 owl 옆에 자리 잡게 되는 과정을 거친다. 마지막으로 2017년 OpenAI가 다음 글자 예측만 학습한 네트워크 안에서 아무도 요청하지 않은 감정 뉴런을 발견한 사례로 복잡한 개념의 창발을 보여준다.
2017년, OpenAI는 리뷰가 긍정적인지 부정적인지를 추적하는 뉴런을 발견했는데, 아무도 그것을 요청하지 않았다.