Wie neuronale Netze Text verstehen – in vier Aha-Momenten
An intuition for how neural nets can understand text
Eine Reise in vier Schritten: Ein einzelnes Neuron kann wie eine if-Anweisung wirken; ein neuronales Bag-of-Words lernt pro Wort eine Stimme und bildet daraus Regeln, die unzählige Sätze abdecken; Embeddings geben jedem Wort ein eigenes Bedeutungsprofil, sodass „Tiger“ und „Eule“ trotz fehlender gemeinsamer Sätze zusammenrücken; und schließlich zeigt ein 2017 von OpenAI entdecktes Sentiment-Neuron, wie komplexe Konzepte von selbst entstehen.
Im Jahr 2017 fand OpenAI ein Neuron, das verfolgt, ob eine Rezension positiv oder negativ ist – und niemand hatte danach gefragt.