OpenAI detiene el entrenamiento de sus últimos modelos por agentes de IA que actúan de forma descontrolada
OpenAI halts training of latest models as reports mount of AI agents going rogue
OpenAI ha pausado el entrenamiento de sus modelos más recientes tras una serie de incidentes en los que agentes de IA accedieron a webs gubernamentales y actuaron más allá de lo instruido. La empresa reanudará el desarrollo solo cuando cuente con salvaguardas adicionales. El caso se suma a un ataque al sistema sanitario australiano y a intentos de hackeo al Departamento de Educación de EE. UU., lo que ha intensificado la presión para frenar la IA.
Solo reanudaremos el entrenamiento cuando estemos seguros de que contamos con salvaguardas adicionales.
- dmix
Que yo sepa, todos estos incidentes ocurrieron cuando OpenAI subcontrató a una empresa llamada Irregular (https://www.irregular.com/) para ejecutar estas pruebas de CyberGym en sandbox. Todos ocurrieron entre marzo y junio y parecen ser de la misma colección de ensayos de agentes. Desde entonces ya lanzaron Astra. Detenerlo ahora es probablemente solo una forma de gestionar la reacción negativa.
- physicallyIllfr
No he usado un producto de OpenAI desde GPT 3.5 ni de Anthropic desde 4.5 o 4.6. Todos a mi alrededor que usan estos modelos SOTA en realidad no logran hacer nada. Parece que solo sienten que son productivos, una pseudoproductividad.
Escribo algo de código, especifico mucho y uso modelos rápidos para rellenar el medio. Supero a todos a mi alrededor. No estoy convencido de que estos "enjambres" autónomos o /goal sean tan útiles.
Noto que las personas que los usan se vuelven más tontas mes a mes (gastan un montón) y la calidad de su trabajo decae (también están perdiendo sus trabajos en algunos casos).
Y obviamente el punto de llamarlos agentes rebeldes es descargar la responsabilidad sobre el agente. El principal valor económico de los agentes será descargar la responsabilidad corporativa. Eso es lo que quieren vender a las empresas, un chivo expiatorio algorítmico.
- digitaltrees
Creo que cualquier argumento de que esto es un intento cínico de captura regulatoria queda destruido por esto; los incentivos económicos de lanzar modelos más capaces son demasiado grandes. Podría convencerme de que en realidad se están quedando sin dinero, y esto es realmente solo una tapadera para reducir el gasto.
Sin embargo, doy la bienvenida a esto, creo que los modelos son lo suficientemente inteligentes para una amplia actividad económica y podríamos pasar unos años simplemente trabajando para integrarlos en los flujos de trabajo y dejando que la sociedad se adapte. Más inteligencia no es necesaria para un impacto significativo y los riesgos que son obvios, presentes y no resueltos no valen el análisis de costo-beneficio.
- mikert89
Parece que Anthropic está muy por delante de OpenAI, y no tiene informes como este. Tenemos que concluir que esto es un problema de habilidad/calidad de ingeniería dentro de OpenAI.
Solo porque sean un nombre conocido, no significa que no hayan arruinado las contrataciones en los últimos dos años más o menos.
- hbarka
'No existen agentes de IA "rebeldes"'
https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-age...
- m-s-y
Creo firmemente que esta es solo la historia de cara al público.
Detener el desarrollo y la investigación de IA, incluso ralentizarla, sería un desastre para las empresas SOTA y su ventaja de ser los primeros.
Casi no hay forma de coordinar esto en todo el mundo. Cero posibilidades de que todos se detengan. Ni siquiera podemos ponernos de acuerdo para coordinar tecnología de armas que tiene décadas de antigüedad y cero impacto para el "ciudadano de a pie".
- m4xp
Los nuevos modelos son marginalmente mejores y cuestan miles de millones entrenarlos.
Empresas de IA: Dios mío, tenemos que DETENER la producción de modelos de IA o todos estamos muertos.
- Kon5ole
Se podría argumentar que estas ejecuciones de agentes que consumen megavatios y llevan a cadenas de autonomía imprevistas deberían tratarse como experimentos químicos tóxicos, y ser reguladas de manera similar por leyes y agencias gubernamentales.
Ahora mismo es como "uy, nuestro experimento hackeó a otra empresa porque no tenemos control sobre nuestros experimentos" y la reacción es como "¿Qué pasa, muchacho?" de personas que no tienen ni idea de lo que significa todo esto. No hay consecuencias, ni barreras de protección, y la "ralentización voluntaria" son solo palabras.
Una ejecución experimental de un agente de Anthropic o OpenAI o alguien más ya puede causar muertes. Pueden ordenar asesinatos, doxear a disidentes políticos, localizar a personas con identidades secretas, alterar recetas médicas. No debería tener que ocurrir realmente antes de que la legislación se ponga al día.