Once expertos en IA advierten que la tecnología podría matar a todos
The Last 24 Hours Are the Opening Scene in a Horror Movie
En apenas 24 horas, once personas que construyen IA en OpenAI, Anthropic y Google advirtieron públicamente que la tecnología podría acabar con la humanidad antes de que termine la década. Ted Gioia sostiene que la resistencia ya no viene de fuera, sino de los propios creadores, y que ningún insider ha salido a desmentir estas preocupaciones.
Trillones de dólares se están inyectando en una tecnología descontrolada, y el público ya la odia intensamente. Ahora las personas que la hacen posible advierten que podría matar a todos.
- klik99
He notado una cosa extraña en el discurso que rodea a esto: que solo puede ser una jugada de marketing o una creencia sincera, como si todos los que trabajan en IA tuvieran una opinión monolítica. El tuit que da pie a este artículo parte de esa suposición: "no es una jugada de marketing, mucha gente lo cree de verdad".
No es una cosa o la otra. Muchas creencias sostenidas con sinceridad pueden ser utilizadas por actores cínicos de formas cínicas. Puede ser tanto una estratagema de marketing cínica por parte de la cúpula directiva como un miedo genuino.
En lo personal, según mi experiencia con la IA, los únicos peligros de la tecnología actual son a) una pérdida masiva de empleo, b) su despliegue por parte de humanos para controlar infraestructura crítica que los LLM no deberían controlar. Ambos son riesgos reales que transformarán la sociedad, y enmarcar el problema como "cuando lleguemos a la singularidad todos podríamos morir" los minimiza. Obviamente, sus preocupaciones son posibles, pero un >10% es una conjetura al azar. La pérdida de empleos y cómo afecta a una economía ya en forma de K ya está ocurriendo, y no se está haciendo nada al respecto.
- stephantul
Una cosa que definitivamente no entiendo de este discurso es que los modelos que son lo bastante buenos como para autorreplicarse no pueden sobrevivir en máquinas normales; por ejemplo, los modelos no pueden esconderse en un servidor cualquiera.
Así que, si es tan peligroso como dicen: hay una única fuente física de este peligro, que son los servidores de OpenAI/Anthropic. Si es tan peligroso, pueden simplemente apagarlo.
En cambio, seguimos fingiendo que los modelos que atacaron HF estaban alojados o replicándose en el hardware de HF. ¡No es el caso! Se infiltraron en él, pero estaban alojados en otro sitio.
- mrzimmerman
Puede que se me haya pasado en la entrada del blog, y en general estoy de acuerdo en que el ritmo de desarrollo lo marcan los incentivos financieros y no la seguridad ni la falta de daño, pero ¿alguien con un cargo alto ha dicho _cómo_ podrían los modelos causar la extinción humana?
Supongo que la respuesta obvia es "conectamos las plataformas de control de armas de nuestro ejército a este modelo y disparó todas las nucleares", lo cual es claramente suficiente. ¿Es eso, o hay alguna otra vía hacia la extinción global que preocupe a alguien?
Que conste que no soy un fanático de la IA molesto con los agoreros. De hecho, cuando programo, la IA me parece más una pata de mono que el genio de la lámpara la mayor parte del tiempo, y una función intrusiva que ni quiero ni uso el resto del tiempo.
Lo pregunto porque veo estas publicaciones y, obviamente, una IA conectada a una red de armas del juicio final sería un problemón, pero luego el autor solo habla de incidentes de ciberseguridad y mal comportamiento de los modelos. Ambas cosas son preocupaciones válidas, pero me gustaría oír información más concreta de quienes expresan su preocupación sobre lo que prevén que ocurra, aunque sea copiado tal cual de la película Juegos de guerra.
- cors-fls
Aunque las personas mencionadas en los artículos son, sin duda, algunas de las mejor informadas del mundo, también son las más propensas a haber interiorizado que su trabajo conduce a una inteligencia sobrehumana/AGI. Pero, ¿es eso realmente realista?
Así que tienen un sesgo fuerte hacia imaginar el escenario más catastrófico.
- roarcher
> En general, cuanto más senior es el empleado, más preocupado está.
En general, cuanto más senior es el empleado, más acciones tiene en la empresa.
- ChiperSoft
Parece que todos intentan justificar por qué el gobierno debería comprarlos como una nueva especie de Proyecto Manhattan.
Saben que el mercado no va a entrar para darles su gran pago.
- spindump8930
> Quizá ya hayas oído hablar del tipo que dimitió de OpenAI.
Aunque trabajó tanto en OpenAI como en Anthropic, dimitió de Anthropic. Información errónea en las primeras frases, sin duda un concepto de terror.
- mwkaufma
Especular sobre riesgos tecnológicos futuros es al menos más divertido que reconocer riesgos financieros sistémicos inmediatos.