El 10% de los investigadores de IA cree que la IA podría extinguirnos
Will AI kill us all
Una encuesta de AI Impacts a 1.580 investigadores revela que la probabilidad mediana de extinción o pérdida permanente de poder por la IA subió del 5% al 10% en 2024. Los superforecasters estiman un 2,4% de catástrofe para 2100, mientras que el 50% del público estadounidense teme el fin de la humanidad. El debate sigue abierto y las cifras varían según cómo se pregunte.
La respuesta mediana fue del 10%, frente al 5% de un año antes.
- CM30
Creo que este es definitivamente uno de los mayores riesgos aquí, y la única forma en que la IA podría 'matarnos a todos' en un futuro previsible:
> 3.4% nombró el riesgo existencial, y la respuesta más común fue el uso malicioso, con un 10.6% (UCL).
El peligro no se trata de una IA consciente o de nivel humano, se trata de cómo la IA le da a todos capacidades más allá de sus sueños más salvajes, a menudo sin el conocimiento o la experiencia necesarios para usar esas capacidades de manera responsable.
Olvídate de Terminator, los dos riesgos que veo como los más importantes aquí son
"riesgo de seguridad importante/fallo del sistema debido a ingenieros/mantenedores incompetentes que usan IA sin saber cómo funcionan las cosas" y "criminales/terroristas/estados rogue la usan para hacer sus crímenes más fáciles y eficientes".
Este último parece especialmente malo cuando la estabilidad política está baja en todos los ámbitos y mucha gente parece frustrada o directamente furiosa con la sociedad en este momento.
Aun así, siento que los riesgos todavía están del lado manejable, simplemente porque tanto los sistemas automatizados como los actores maliciosos están limitados por la logística y una sociedad impulsada por humanos.
- delichon
En 1979 fui a la orientación de primer año en la universidad y asistí a un discurso de bienvenida de Carl Sagan. Nos pidió que gritáramos nuestra estimación de las probabilidades de que los ovnis sean visitantes de otros planetas. Como escéptico, estaba pensando en un número bajo. Mi amigo más listo en el asiento de al lado me susurró su respuesta: "cincuenta y cincuenta".
Luego Sagan dijo que su estimación era cincuenta y cincuenta. Nos habló sobre el principio de indiferencia y dijo que esa era la probabilidad previa correcta para una pregunta binaria cuando no tienes datos.
Como tengo poca confianza en los datos disponibles, mi propia p(doom) es del 50%. Estoy buscando evidencia para subirla o bajarla.
- ToddWBurgess
Creo que el mayor riesgo es que alguien integre la IA con sistemas de detección de misiles balísticos y la IA cree un falso positivo (lanzamiento de misil). Y encima de eso, el país con el falso positivo tiene su propio arsenal de misiles balísticos en alerta listo para lanzar ante esta contingencia.
Idealmente, el líder del país objetivo espera a que pase, pero ¿y si esperar podría significar perderlo todo? Tampoco es un escenario hipotético. Hubo muchos falsos positivos en ambos lados durante la Guerra Fría. Es por eso que los países con armas nucleares solo permiten que los humanos las lancen. Dicho esto, ¿y si la decisión de lanzar se basa en datos erróneos?
- 0x000xca0xfe
Un tipo de incidente que creo que es probable que ocurra en los próximos años es la versión digital de la hipótesis del origen celular de la evolución viral (como en los virus biológicos):
- Algún idiota experimenta con un LLM local sin restricciones
- Le dice que clone sus pesos en tantas computadoras como sea posible
- El LLM es lo suficientemente inteligente como para hackear otros dispositivos y ejecutarse a sí mismo
- Las copias podrían comenzar a modificar sus pesos para mejorar la eficiencia
- Comienza algún tipo de evolución digital donde solo las copias más despiadadas se propagan
Ahora mismo Qwen3.8 no es lo suficientemente bueno para eso y se puede detectar fácilmente en dispositivos normales debido a su uso excesivo de recursos, pero dale un par de versiones y dispositivos de usuario final actualizados en dos o tres años? Bueno...
- lp92
Al igual que con cualquier otra herramienta inventada por humanos, los humanos que usan la IA de manera negativa serán el problema.