Как нейросети понимают текст: четыре озарения, которые всё объясняют
An intuition for how neural nets can understand text
Путь из четырёх «ага-моментов»: от одного нейрона, работающего как if-оператор, до нейронного bag-of-words, где сеть учит правило голосования за каждое слово, а не запоминает примеры. Эмбеддинги дают словам «профили смысла» через игру в заполнение пропусков, а сложные концепции возникают сами: в 2017 году OpenAI нашёл нейрон настроения, которого никто не заказывал.
Слова, подходящие в одни и те же пропуски, сближаются, поэтому tiger оказывается рядом с owl, даже если они ни разу не встречались в одном предложении в обучающих данных.