Chomsky gegen die Statistik: Warum Sprachmodelle die Linguistik nicht ersetzen
Chomsky and the Two Cultures of Statistical Learning
Auf dem MIT-Symposium 2011 griff Noam Chomsky Forscher an, die Sprache rein statistisch modellieren – Erfolg als Annäherung an unanalysierte Daten sei ein neuartiger Begriff in der Wissenschaftsgeschichte. Peter Norvig antwortet: Statistik und Ingenieurserfolg seien sehr wohl wissenschaftliche Belege, und probabilistische Modelle könnten Einsichten liefern, die ein reines Regelwerk nicht bietet.
Es gibt einen Begriff von Erfolg ... der, wie ich glaube, in der Geschichte der Wissenschaft neuartig ist. Er deutet Erfolg als Annäherung an unanalysierte Daten.
- NaiveEmpiricist
Norvig (und Chomsky) reden aneinander vorbei.
Norvig verwechselt Ingenieurwesen mit Wissenschaft. Wenn ein Ingenieur etwas haben will, das funktioniert (und garantiert, dass es funktionieren wird), dann verwendet man das effektivste verfügbare Werkzeug, um dieses Ziel zu erreichen. Das ist kein Problem. Aber es gibt absolut keinen Grund anzunehmen, dass das irgendetwas Wissenschaftliches über das Phänomen aussagt, das man modelliert. Zum Beispiel sagt die Luftfahrtingenieurwissenschaft sehr wenig darüber aus, wie Vögel fliegen. Und – aktuell relevant – LLMs lernen, Sprache zu verwenden und zu verstehen, aber sie verwenden millionenfach mehr Trainingsdaten und millionenfach mehr Rechenleistung als ein Kind. Ein LLM mag also eine großartige Technologie sein, aber es ist wahrscheinlich kein gutes Modell dafür, wie Menschen Sprache lernen und verwenden.
Chomsky hingegen sieht keinen Nutzen in Statistik für die Wissenschaft, zumindest nicht in der Linguistik. Zum Glück für die Linguistik schwindet Chomskys Einfluss in der Linguistik, und Linguisten beginnen, statistische Werkzeuge zu nutzen, um Wissenschaft zu betreiben.
- stillpointlab
Ich finde es schwer zu erkennen, wie Chomsky hier bestehen kann.
> Ich verstehe, wie Chomsky aufgrund seines Studiums der Sprachgenerierung zu der Schlussfolgerung gelangen könnte, dass probabilistische Modelle unnötig sind.
Ich denke, hier dreht sich der Punkt für mich. Wir haben jetzt probabilistische Modelle, die unglaublich überzeugende Sprache generieren. Norvigs folgendes Argument über den Wert der statistischen Interpretation von Sprache wird zweitrangig.
Um in der Realität verankert zu bleiben, müssen unsere Modelle aus Beweisen folgen. Ich denke, es würde eine eigenartige Sturheit erfordern zu leugnen, dass die neuesten Modelle Beweise für die Generierung von Sprache liefern.
- Alexander-Barth
> Aber die überwältigende Mehrheit der Menschen, die sich mit Interpretationsaufgaben (wie Spracherkennung) beschäftigen, erkennt schnell, dass Interpretation ein inhärent probabilistisches Problem ist: Gegeben ein Strom verrauschter Eingaben an meine Ohren, was hat der Sprecher höchstwahrscheinlich gemeint? Einstein sagte, man solle alles so einfach wie möglich machen, aber nicht einfacher. Viele Phänomene in der Wissenschaft sind stochastisch, und das einfachste Modell für sie ist ein probabilistisches Modell
Warum das „einfachste“ Modell? Ist ein probabilistisches Modell nicht das einzige Modell, das mit Unsicherheit umgehen kann? Welche anderen Arten von Modellen sind möglich, um Unsicherheit und inhärente Ambiguität darzustellen, die nicht probabilistisch sind?
- muh_gradle
Das ist übrigens ein alter, sehr alter Beitrag von Norvig.
- lo_zamoyski
Es ist mehr oder weniger der klassische Zusammenstoß zweier modernistischer Haltungen, der des Rationalisten (Chomsky) und der des Empiristen (Norvig). Die intellektuelle Wunde, die diese Spaltung einführt, ist altbekannt. Ich würde jedoch sagen, Norvig hat insgesamt den Vorteil.
1. Norvig hat recht, dass Beobachtung und Fakten-/Datensammlung für die Wissenschaft notwendig sind. Chomsky hat jedoch recht, dass das letztendliche Ziel der Wissenschaft darin besteht, die Prinzipien zu bestimmen, die etwas regieren. Ergo: Man braucht das Erste, um das Zweite zu tun. Der Intellekt abstrahiert aus den Quelldaten, aber nichts ist im Intellekt, was nicht zuerst in den Sinnen war.
2. Chomsky hier ist an Dingen wie Sprache nicht interessiert – ihn interessiert nur die zugrundeliegende Syntax. Aber Syntax – in Materie ausgedrückt und instanziiert – wird durch Sprache erkannt, und Wahrscheinlichkeiten setzen eine zugrundeliegende determinierte Syntax voraus. Ergo: Eine vollständige Wissenschaft der Sprache ist end-to-end, von der „Lesart“ oder Interpretation verrauschter Daten über die syntaktische Verarbeitung bis hin zum Ausdruck.
3. Chomsky konzentriert sich stark auf interne Generierung. Norvig weist darauf hin, dass Interpretation eine separate, höchst praktische Herausforderung ist. Herauszufinden, was jemand in einer verrauschten, mehrdeutigen Welt meint, ist eine Übung in Klugheit, die das Abwägen von Eventualitäten und Wahrscheinlichkeiten beinhaltet, um zur wahrscheinlichsten Wahrheit zu gelangen. Natürlich kann dies nur vor dem Hintergrund einer vorausgesetzten Akzeptanz der Funktion von Sprache geschehen, die darin besteht, Bedeutung und das Wahre zu kommunizieren (daher funktionieren Lügen und daher sind sie ein ab […]