Geoffrey Hinton advierte que quizá habríamos estado mejor sin la IA
Geoffrey Hinton: it might turn out we were better off without AI
El Nobel Geoffrey Hinton, uno de los padrinos de la IA, cree que este año o el próximo podría producirse un incidente a gran escala, como un apagón financiero o eléctrico, y que dentro de una década sabremos si la humanidad logra gestionar los riesgos de la tecnología. Critica a Sam Altman, Mark Zuckerberg y Elon Musk por entender los peligros y priorizar el dinero, y aboga por pruebas obligatorias e independientes de los modelos frontera, al estilo de la FDA.
Creo que Zuckerberg, Musk y Sam Altman entienden los riesgos, y les importa un bledo. Prefieren el dinero. Esa es mi convicción.
- mrweasel
Si la gente que está al mando de las empresas de IA entiende el riesgo, no lo sé, pero creo que es un buen punto que principalmente les importa el dinero. También son personas que no están acostumbradas a limpiar sus propios desastres, así que qué les importa si algo sale mal.
El descuido también es evidente en cómo se implementa la IA. Se presenta como una tecnología disruptiva, como todo lo demás que presentan las empresas tecnológicas modernas. El objetivo es un pago muy grande en muy poco tiempo, no es hacer algo mejor, ni peor, cualquiera de los dos es solo un efecto secundario.
Si los LLM se hubieran presentado primero como un "mejor IntelliSense", donde en lugar de autocompletar nombres de funciones, tu editor ahora puede sugerir implementaciones, muy pocas personas se habrían molestado. Lo mismo para la escritura, es solo una mejor versión de Grammarly, está bien, o como una herramienta en software de dibujo. El problema habría sido, para los jefes de la IA, que esto lleva tiempo y no crea empresas de un billón de dólares. Solo crea empresas que tendrían que dirigir de verdad, a largo plazo, y eso es aburrido.
- bemtevi
"advirtió que podría desencadenar un incidente a gran escala este año o el próximo, como un apagón temporal de los sistemas financieros o eléctricos".
Sé que esto suena inusual, pero creo que no sería lo peor que podría pasar. Claro, causaría un poco de caos, pero también podría hacernos pensar dos veces antes de continuar por nuestro camino actual de desarrollo sin restricciones, y posiblemente incluso hacernos mucho más cautelosos, lo que a su vez podría incluso ayudarnos con la crisis climática.
Porque los seres humanos en masa solo responden a una cosa: la dificultad inmediata. No responden a la dificultad retardada como "el clima está empeorando" o "la tecnología hará la vida más difícil en un futuro lejano". Solo responden al dolor inmediato.
Así que creo que sería bueno que el sistema financiero tuviera una amenaza seria. Entonces las personas con dinero, que tienden a compensar los problemas futuros con soluciones técnicas y colchones financieros, comenzarían a sospechar mucho más de la tecnología y dejarían de financiar la IA y las cosas derrochadoras que probablemente amenacen su seguridad.
- bvan
Por supuesto que sí.
A finales de los 80 y principios de los 90, nadie que trabajara en ML aspiraba a desarrollar sistemas que se usarían para generar el tipo de basura de IA que nos plaga hoy. Lo bueno está siendo sofocado por lo absolutamente desmoralizador e inútil.
- dust42
Así que Hinton no confía en los líderes tecnológicos, pero entonces la consecuencia de que los gobiernos censuren los LLM es que solo los líderes tecnológicos y los gobiernos tienen acceso ilimitado a la IA.
Si alguien logra, con la ayuda de la IA, hackear un sistema vital, entonces el sistema ya estaba en un estado críticamente malo de antemano. Si los desarrolladores no pueden usar la IA para verificar el código en busca de fallos de seguridad, entonces la seguridad empeora y no mejora.
- gkcnlr
> [...] advirtió que podría desencadenar un incidente a gran escala este año o el próximo, como un apagón temporal de los sistemas financieros o eléctricos.
No me lo creo. No hay algún tipo de "IA(s) rebelde(s)" vudú por ahí que pueda decidir al azar apoderarse de su pila de proveedores o forzar su entrada para posesionarse de las infraestructuras más críticas del planeta. Este tipo de predicciones solo podrían hacerse realidad si una pequeña minoría que posee una enorme cantidad de cómputo y una agenda particular decide hacer este tipo de cosas, lo que también requerirá una cantidad demencial de capacidad de centros de datos para causar, especialmente algún tipo de "colapso" financiero.
- socketcluster
Mi principal miedo es que la integridad de todo se vea comprometida, pero todos sigan actuando como si no. Siento que ya es algo así en cierta medida, pero me preocupa que empeore.
Mi predicción es que algunas personas podrán usar la IA para crear esencialmente dinero infinito dentro de sus cuentas bancarias (mediante hacking); los precios de los activos crecerán hasta sumas ridículas a medida que las personas con dinero infinito compren activos, pero los rendimientos de todos los activos pronto se acercarían al 0%; aun así, un activo crecerá a un ritmo más rápido que todos los demás activos (por ejemplo, una empresa de IA respaldada por blockchain/acciones tokenizadas que son imposibles de hackear) y todos comenzarán a acumular su dinero infinito en ese activo; todos los demás activos se desplomarán debido a la rápida aceleración exponencial del precio del activo principal, haciendo que todos los demás activos sean poco atractivos en comparación. Entonces el dinero fiduciario dejaría de existir y las acciones (o tokens cripto) de la empresa principal se usarían como dinero en su lugar. Luego los precios de los activos se estabilizarían de nuevo; denominados en la nueva moneda... Luego, después de eso, finalmente podremos comenzar a innovar con la IA.
- gchamonlive
"Creo que [Mark] Zuckerberg y [Elon] Musk y Sam Altman entienden los riesgos, y no les importa una mierda. Preferirían tener el dinero. Esa es mi creencia".
¿Qué es el riesgo para las personas valoradas cerca o por encima del billón de dólares? El riesgo no tiene sentido cuando las corporaciones se vuelven demasiado grandes para quebrar.
- asdfsa32
"Nosotros". ¿Quién "es" nosotros? Esto no se trata de ti. Ni de mí. Nunca hubo un nosotros. Antes de que abras la boca o dejes la pluma, ¿no pensarías en el valor para los accionistas por una vez?