Terence Tao y 23 medallistas Fields advierten que la IA está desalineada con la matemática

A mí no me parece que lo que la IA ha destruido sea la capacidad de los matemáticos para desarrollar comprensión y compartirla entre ellos, sino más bien ha destruido la vara de medir (resolver problemas abiertos) que tradicionalmente se ha usado para medir cuánto han contribuido a esa comprensión.

Sí veo cómo esto es un problema en términos de asignar crédito, pero creo que el gato ya está fuera de la bolsa en cuanto a que estos modelos son capaces. Incluso sin que los laboratorios de IA gasten millones de dólares para resolver problemas del milenio, hay mucha otra gente que los usará para recoger la fruta madura. No creo que ninguna solución social vaya a hacer que las cosas vuelvan a ser como antes, cuando podías compartir tu progreso hacia un famoso problema abierto sin arriesgarte a que alguien te "ganara por la mano" en un par de días.

Creo que los resultados más probables son o bien que las matemáticas se vuelvan más secretistas, o bien que haya un enfoque más deliberativo para asignar crédito que quién fue el "primero" en resolver algún problema. En el primer caso, esto podría ralentizar el progreso, y en el segundo, podría significar que el crédito se vuelva más subjetivo y sea una fuente continua de controversia.

La crítica de Tao a la IA en el campo de las matemáticas me recuerda a lo que el crítico de arte francés Charles Baudelaire dijo en el siglo XIX sobre la fotografía [0].

Baudelaire sostenía que la fotografía se convirtió en un refugio para pintores fracasados, ese tipo de chapuceros que no podían terminar una formación adecuada. La fotografía, como representación mecánica del mundo, solo podía registrar lo que ya existía; no podía transformar la realidad como sí podía hacer una pintura.

También criticó la fiebre del público por "lanzarse" a ella, y se quejó de que este "progreso" técnico estaba debilitando las artes.

¿Ves también algunos paralelismos?

[0] https://fr.wikisource.org/wiki/Curiosit%C3%A9s_esth%C3%A9tiq...

Esto me suena mucho a la gente en los 90 que se quejaba de que las computadoras estaban destruyendo el ajedrez. Treinta años después, el ajedrez es más popular que nunca, y los ajedrecistas son mejores que nunca. No me sorprendería que ahora haya más libros de ajedrez que nunca. Además, resulta que muchos libros de ajedrez escritos antes de las computadoras simplemente estaban equivocados en muchas cosas. Resulta que tener un oráculo para la respuesta "correcta" en ajedrez, incluso sin una explicación, si se usa bien, permite a los humanos desarrollar ideas más amplias y precisas.

El argumento aquí suena similar. El temor, según entiendo que dice esta declaración, es que al recibir la respuesta correcta, en forma de una prueba Lean de 100 páginas, los humanos se verán privados de la oportunidad de obtener ideas sobre la estructura misma de las matemáticas. No veo ninguna razón por la que los humanos no puedan seguir desarrollando ideas mientras intentan digerir la prueba Lean de 100 páginas en algo más manejable; pero con más certeza y menos falsos comienzos.

No estoy convencido de que esto sea un problema de alineación o de tecnología.

Si mi jefe programara una app al estilo vibe coding para el cliente y luego me asignara a mí para hacerla funcionar, sería imposible de mantener. Si me diera suficientes tokens de IA para hacer el MVP yo mismo con vibe coding y según mi diseño, no me importaría.

Creo que el mismo problema está en juego aquí en las matemáticas. OpenAI es dueño del modelo y puede dirigirlo como quiera. Eligieron gastar mucho dinero para obtener un resultado rápido, en lugar de desarrollar infraestructura matemática para la próxima generación de problemas. Los gerentes están al mando en lugar de los expertos.

> Estamos presenciando una amenaza general al trabajo intelectual

Este es el quid de la cuestión y va mucho más allá de las matemáticas o la informática. Para conseguir que un montón de humanos hagan algo, tienes que motivarlos. Kleos y Timē; renombre y esas cosas. Estas empresas de IA amenazan con arrebatarle esto a todos menos a ellas mismas, y este reciente premio del milenio es el ejemplo perfecto.

Resolver este problema como humano habría conllevado un tremendo Kleos; mi nombre estaría escrito en los anales de las matemáticas, giras de conferencias con elogios serían mías para el resto de mis días. Esta única victoria me habría ganado el reconocimiento a lo largo de la historia. Lo máximo que puede esperar un mortal. Arrebatado.

También me habría dado un gran Timē. El dinero del premio, las cátedras, los contratos de libros. Desaparecidos.

Si toda esperanza de "renombre y esas cosas" en el ámbito intelectual ahora la toman las empresas de IA, eliminarán toda motivación humana para dedicarse a estos empeños.

Quizás la gloria venga de matar a estas bestias caídas.

> resolver problemas es solo una herramienta y un proxy para lograr el objetivo principal de comprensión conceptual y perspicacia.

Este es el efecto de la IA en la mayoría de las disciplinas intelectuales, y es una preocupación real.

Para ser honesto, no vi tanta indignación aquí: https://news.ycombinator.com/item?id=49662116

Parece que gran parte del problema aquí es que estos problemas no son interesantes en sí mismos, sino que llevan por caminos interesantes. Se pierde el propósito si los resuelves sin obtener ninguna comprensión real.

Es como decir que has resuelto problemas de "voltear panqueques" con una gofrera, o problemas del "viajante de comercio" con una reunión de Zoom.

Esta carta se queja de que la comprensión humana ha sido crucial para el avance de las matemáticas, y las empresas de IA no se molestan en ello. Pero la promesa (y el horror) de las matemáticas con IA es que, si tiene éxito, la comprensión humana se vuelve irrelevante. Ese es el objetivo. Así que el mensaje de esta carta caerá en oídos sordos.

Ten en cuenta que los empleados de las empresas de IA declaran públicamente que creen que están arriesgando una probabilidad superior al 10% de extinción humana. Están arriesgando a sabiendas las vidas de cada hombre, mujer y niño para continuar el trabajo. Las vidas de sus propios hijos e hijas. Una persona que ya racionaliza eso no va a derramar una lágrima por las carreras de los matemáticos. Solo un bicho en el parabrisas.

Entiendo esta postura y de dónde vienen, pero no puedo evitar pensar que esto suena muy análogo a los argumentos de los ingenieros contra la IA asistida y el vibe-coding, especialmente en lo que respecta a la deuda cognitiva. Sin embargo, la industria del software sigue avanzando, según se informa empujando montañas de código no revisado a producción, y el mundo no se ha acabado.

Por supuesto, nadie está realmente cómodo con ello, así que esto también es un mecanismo forzado para que la industria se adapte y descubra nuevas técnicas para gestionar la complejidad y la confianza. Creo que lo mismo pasará con las matemáticas.

Pero también es posible que terminemos con tres formas de matemáticas: la que entendemos, la que no entendemos, y la que no entendemos pero podemos demostrar que funciona. Algo así como la magia, con todas las connotaciones positivas y negativas de la palabra.

Es bastante evidente que estos modelos pronto superarán nuestras capacidades cognitivas. ¿Es correcto frenarlos solo porque no podemos seguir el ritmo? Muchos de esos descubrimientos estarán tan fuera de nuestro alcance que no podremos hacer nada con ellos, pero eso también significa que no pueden hacernos daño. Por otro lado, podría haber muchos descubrimientos que podamos aprovechar para aplicaciones prácticamente útiles, aunque no los entendamos.

Igual que los LLM.