Chomsky contra el aprendizaje estadístico: Norvig responde
Chomsky and the Two Cultures of Statistical Learning
En 2011, Noam Chomsky desestimó los modelos estadísticos del lenguaje por considerarlos una mera aproximación a datos sin analizar, sin verdadero valor científico. Peter Norvig le responde punto por punto: el éxito de la ingeniería es evidencia de que algo funciona, la acumulación de datos y la teoría avanzan juntas, y los modelos probabilísticos modernos abarcan palabras, sintaxis y semántica, no solo las tablas de Markov de hace medio siglo. La interpretación del lenguaje, sostiene, es intrínsecamente probabilística.
Einstein decía que hay que hacer todo tan simple como sea posible, pero no más simple. Muchos fenómenos de la ciencia son estocásticos, y el modelo más simple de ellos es un modelo probabilístico.
- NaiveEmpiricist
Norvig (y Chomsky) están hablando de cosas distintas.
Norvig confunde la ingeniería con la ciencia. Si un ingeniero quiere algo que funcione (y garantizar que funcionará), entonces usa la herramienta más eficaz disponible para lograr ese objetivo. No hay problema ahí. Pero no hay absolutamente ninguna razón para pensar que eso te dice algo científico sobre el fenómeno que estás modelando. Por ejemplo, la ingeniería aeronáutica dice muy poco sobre cómo vuelan los pájaros. Y, algo relevante ahora, los LLM aprenden a usar y entender el lenguaje, pero usan millones de veces más datos de entrenamiento, y millones de veces más potencia de cálculo, que un niño. Así que un LLM puede ser una gran tecnología, pero probablemente no sea un buen modelo de cómo los humanos aprenden y usan el lenguaje.
Chomsky, en cambio, no ve ninguna utilidad en la estadística para la ciencia, al menos no en la lingüística. Afortunadamente para el campo de la lingüística, la influencia de Chomsky en la lingüística está disminuyendo y los lingüistas están empezando a usar herramientas estadísticas para hacer ciencia.
- stillpointlab
Me cuesta ver cómo Chomsky puede tener algún argumento sólido.
> Entiendo cómo Chomsky puede llegar a la conclusión de que los modelos probabilísticos son innecesarios, a partir de su estudio de la generación del lenguaje.
Creo que el punto clave para mí está aquí. Ahora tenemos modelos probabilísticos que generan lenguaje increíblemente convincente. El argumento siguiente de Norvig sobre el valor de interpretar el lenguaje estadísticamente pasa a ser secundario.
Para mantenernos anclados en la realidad, nuestros modelos deben derivarse de la evidencia. Creo que haría falta una obstinación peculiar para negar que los últimos modelos muestran evidencia de generar lenguaje.
- Alexander-Barth
> Pero la gran mayoría de las personas que estudian tareas de interpretación (como el reconocimiento de voz) ven rápidamente que la interpretación es un problema inherentemente probabilístico: dado un flujo de entrada ruidoso a mis oídos, ¿qué quiso decir probablemente el hablante? Einstein dijo que hay que hacer todo lo más simple posible, pero no más simple. Muchos fenómenos de la ciencia son estocásticos, y el modelo más simple de ellos es un modelo probabilístico
¿Por qué el modelo "más simple"? ¿No es el modelo probabilístico el único modelo capaz de lidiar con la incertidumbre? ¿Qué otros tipos de modelos son posibles para representar la incertidumbre y la ambigüedad inherente que no sean probabilísticos?
- lo_zamoyski
Es más o menos el choque clásico de dos actitudes modernistas, la del racionalista (Chomsky) y la del empirista (Norvig). La herida intelectual que introduce esta división es de larga data. Sin embargo, diría que Norvig tiene la ventaja general.
1. Norvig tiene razón en que la observación y la recolección de hechos/datos son necesarias para la ciencia. Sin embargo, Chomsky tiene razón en que el objetivo último de la ciencia es determinar los principios que gobiernan algo. Ergo: necesitas lo primero para hacer lo segundo. El intelecto abstrae de los datos de origen, pero nada hay en el intelecto que no haya estado antes en los sentidos.
2. A Chomsky aquí no le interesan cosas como el habla; solo le importa la sintaxis subyacente. Pero la sintaxis, expresada e instanciada en la materia, se conoce a través del habla, y las probabilidades presuponen una sintaxis determinada subyacente. Ergo: una ciencia completa del habla es de extremo a extremo, desde la "lectura" o interpretación de datos ruidosos pasando por el procesamiento sintáctico hasta la expresión.
3. Chomsky se centra mucho en la generación interna. Norvig señala que la interpretación es un desafío separado y muy práctico. Averiguar qué quiere decir alguien en un mundo ruidoso y ambiguo es un ejercicio de prudencia que implica sopesar contingencias y probabilidades para llegar a la verdad más probable. Por supuesto, esto solo puede hacerse sobre la base de una aceptación presupuesta de la función del habla, que es comunicar significado y lo que es verdadero (de ahí por qué funcionan las mentiras y por qué son un ab[...]
- muh_gradle
Esto es un post muy viejo de Norvig, para tu información.