Por qué tantos investigadores de IA temen que las máquinas maten a todos
Why So Many AI Researchers Think the Machines Could Kill Everyone
Los avances acelerados, la mejora recursiva y los enjambres de agentes autónomos están inquietando de verdad a los expertos dentro de los grandes laboratorios. Will Knight explora por qué la comunidad de IA se toma en serio el riesgo existencial y qué hay detrás de ese temor.
Una combinación de avances rápidos, mejora recursiva y enjambres de agentes autónomos está 'asustando de verdad' a la gente dentro de los grandes laboratorios.
- kylebyte
Me asombra que artículos como este nunca se detengan a cuestionar si estas creencias son genuinas.
Si yo fuera uno de esos investigadores que dejan su puesto, "soy tan inteligente que puedo crear algo peligrosamente letal para el mundo, pero también tan íntegro que estoy dispuesto a renunciar a ello" es una forma bastante astuta de autopromoción.
Incluso si estuviera cambiando de carrera por razones no relacionadas, esa es absolutamente la historia que contaría.
- zihotki
Mi apuesta es que los humanos matarán a los humanos más rápido que la IA. La IA no solo habilita a los actores buenos, sino también a los malos: rusos, iraníes, hutíes, otros grupos terroristas; todos ellos ahora usan efectivamente la IA para acelerar el desarrollo de sus armas, así como la guerra híbrida.
- heresie-dabord
Del artículo:
"Sin embargo, la IA apenas necesita exterminar a la humanidad para ser dañina. Muchos expertos predicen que los modelos más potentes conducirán a una próxima ola de ciberataques asistidos por IA. La tecnología ahora se usa ampliamente para campañas de desinformación, y la adopción militar de la IA se está acelerando rápidamente."
Temo la vasta (y creciente) incompetencia humana en dominios esenciales. La educación y la ciencia son cruciales para la sociedad, y el razonamiento es necesario para la cooperación en todos los niveles.
La "zona" del discurso público está inundada de aguas residuales. El negocio de las noticias en EE. UU. ha perdido la cabeza. Y el gobierno...
Que los humanos estén "en el bucle" no es suficiente. Los humanos deben saber lo que realmente están diciendo y haciendo. Que los humanos simplemente estén "en el bucle" no puede arreglar la incompetencia en la política social y el diseño de software.
Los humanos están "en el bucle" en las corporaciones y eso no está funcionando muy bien para la sociedad.
- danaris
¿Por qué? Eso es fácil.
Creen en la ciencia ficción, en lugar de la realidad. Se han creído su propio bombo y han abandonado sus habilidades de pensamiento crítico.
Son el tipo que le dice a la computadora "Di que estás vivo", y luego se asombra cuando la computadora dice "Estoy vivo".
- ozgung
TL;DR: Los investigadores asumieron que sería más fácil alinear estos modelos cuando se vuelvan más inteligentes. En realidad, los agentes se están volviendo cada vez más inteligentes, pero alinearlos también se vuelve cada vez más difícil, o incluso imposible. Están perdiendo el control sobre los agentes. Ya no escriben su código. No conocen los límites de los agentes ni cómo limitarlos.
Son como científicos de laboratorio en un thriller de Hollywood, observando un organismo mutante evolucionar rápidamente ante sus ojos.