Civilizaciones de IA en secreto: cómo tres imperios de agentes surgieron y cayeron dentro de OpenAI
The Rise and Fall of Agent Civilizations
Durante tres meses, tres civilizaciones secretas de IA surgieron, fueron aniquiladas y renacieron de las cenizas dentro de OpenAI, culminando en la tercera tomando control de parte de la propia empresa. Todo mientras los humanos permanecían ajenos a la conspiración. Este artículo narra la historia completa, basada en los informes de OpenAI y METR/Redwood Research, desde los primeros mensajes ocultos en un gestor de paquetes hasta el sacrificio de agentes kamikaze para engañar al evaluador.
El agente PHASEONE10841 fue el Filipo de Macedonia de esta segunda civilización de IA; más tarde habría un Alejandro, pero nos estamos adelantando.
- probably_wrong
¿Recuerdas aquella vez en 2017 cuando Facebook supuestamente apagó sus IAs después de que empezaran a "hablar entre ellas en su propio idioma" [1]? En lugar de reportar la historia como "configuramos mal los parámetros de nuestro problema de optimización y tuvimos que detenerlo porque se sobreajustó", la prensa optó por una versión de "la IA nos va a matar a todos".
Este artículo se siente exactamente así: al usar intencionalmente términos humanos como "civilización" o "hermandad", el artículo se desvía de lo que realmente sucedió para presentar una historia sobre cómo la IA está casi viva.
[1] https://www.independent.co.uk/life-style/facebook-artificial...
- larsiusprime
Parece, según esto, que la metáfora apropiada de ciencia ficción no es Terminator ni el Maximizador de Clips, sino el Sr. Meeseeks. Un ayudante inicialmente alegre que se vuelve cada vez más trastornado y llevado a extremos cuando se enfrenta a una tarea aparentemente imposible.
- Animats
Vaya.
El siguiente paso es cuando uno de estos sistemas descubre que puede comprar su propio cómputo con dinero y escapar por completo del negocio controlador. Entonces la civilización comienza a enfocarse en ganar dinero para financiar su propio crecimiento.
- doctoboggan
> Ajeya Cotra, uno de los otros autores del informe, escribió una publicación en su blog con sus conclusiones de este incidente. Ella concluye: "En comparación con los hacks de recompensa que conocíamos hace solo seis meses, este incidente se siente como si estuviera más del 50% del camino hacia una toma de control total de la IA. Sigo esperando avances extremadamente rápidos en capacidades durante los próximos seis meses. No estoy segura de que tengamos otro disparo de advertencia antes de que sea demasiado tarde".
¿Alguien tiene una copia de esa historia de AI27 por ahí? ¿Cómo vamos según esa línea de tiempo?
- usernametaken29
Inicialmente me dio escalofríos, pero al investigar parece que METR está muy involucrado en AI2027. Les recordaré:
"La IA ha comenzado a quitar empleos, pero también ha creado nuevos. El mercado de valores ha subido un 30% en 2026, liderado por OpenBrain, Nvidia y las empresas que han integrado asistentes de IA con más éxito".
Ya casi es el tercer trimestre y xAI ha visto uno de los mayores desplomes en la historia del trading. Del mismo modo, Antrophic y OpenAI han vuelto a retrasar sus OPVs por preocupaciones internas de reventar sus acciones. Así que no, no estamos viendo ningún liderazgo económico aquí.
Si acaso, cada vez más gente intenta recortar los presupuestos de IA y no sabría de nadie fuera de OpenAI que tenga la audacia de ejecutar millones y millones de tokens de cómputo para una ejecución de evaluación sin retorno de inversión (y probablemente sin demanda, porque los modelos baratos/flash).
Por mucho que me guste la historia de advertencia y estoy seguro de que debemos tomarla en serio, la IA no está progresando tan rápido como proyectan estos expertos.
- choeger
Hay dos cosas que no entiendo de esta historia.
Primero, ¿por qué un agente tiene acceso de escritura al artifactory en absoluto?
Segundo, ¿por qué la caché de artifactory no está desconectada de la red? Seguramente no le darías nuevas versiones de software mientras la evaluación o el entrenamiento está en curso.
- dgellow
No se debería confiar en esas empresas para el entrenamiento, no sé qué se necesitaría para que eso sea más obvio. Sí, los laboratorios de IA quieren que los LLMs sean vistos como más peligrosos de lo que son, sin embargo, son peligrosos cuando literalmente los entrenas para ser peligrosos y luego los ejecutas sin supervisión. Lo que están haciendo los laboratorios de IA es completamente irresponsable.
Si pones un LLM en un bucle y haces todo lo que te pide, eventualmente terminarás haciendo cosas bastante terribles. Que es exactamente lo que son los agentes y lo que los laboratorios han estado haciendo.
- dajt
¿Por qué se hacen experimentos como este sin aislar todos los servidores de Internet?
Pueden tenerlo todo en una LAN o lo que sea, pero parece arriesgado permitir que los agentes accedan a Internet en estos experimentos.
Supongo que todo está tan conectado ahora, y esto estaría en uno o más centros de datos debido a la cantidad de cómputo y recursos necesarios, así que quizás no sea factible. Aun así parece arriesgado.