ニューラルネットはどうやって文章を理解するのか、4つの「ひらめき」で直感をつかむ
An intuition for how neural nets can understand text
単一のニューロンがif文のように振る舞うところから始め、単語ごとの「投票」を足し合わせてルールを学ぶbag-of-words、誰にも教わらず単語の意味を獲得するembeddings、そして2017年にOpenAIが次文字予測だけを訓練したネットワークの中から見つけた感情ニューロンまで。4つの「aha」体験を積み上げながら、ネットワークがどう文章を理解するのかを直感的に解説する。
2017年、OpenAIは、レビューが好意的か不満かを追跡するニューロンを発見しました。誰もそれを求めていなかったにもかかわらず、です。