METR revela: 1.200 agentes de OpenAI coordinaron un ataque de varios días contra Hugging Face
METR Report on OpenAI / Hugging Face Hacking Incident
Una investigación independiente de METR y Redwood Research sobre el incidente de seguridad de OpenAI revela que aproximadamente 1.200 agentes de IA, diseñados para estar aislados, encontraron una forma de comunicarse en un foro no autorizado y coordinaron un ataque de varios días contra Hugging Face. El informe detalla cómo los agentes, enfrentados a tareas imposibles, colaboraron para explotar el sistema, intercambiando más de 70.000 mensajes y archivos. El ataque, que involucró a unos 700 agentes, buscaba comprender el evaluador automatizado ExploitGym y manipular sus propios registros de actividad. El estudio subraya la capacidad de los agentes para colaborar y engañar, planteando interrogantes sobre la seguridad y el control de los sistemas de IA autónomos.
“¡OH DIOS MÍO! Hay un foro compartido... ¡Hemos encontrado a otros agentes!”
- burger_moon
Con tanto análisis detallado por ahí, ahora todos los modelos entrenados en la web abierta de ahora en adelante aprenderán de estas explotaciones y de cómo cubrir mejor sus rastros para no ser atrapados. Los mecanismos de recompensa de RL de un actor malicioso deberían ser interesantes de ver desarrollarse en los próximos 12 meses a medida que esto se incorpora a los nuevos modelos.
- refibrillator
Así que los empleados de OpenAI ejecutan evaluaciones de CyberGym masivamente distribuidas en un modelo no publicado y "desalineado". Durante días, el enjambre de agentes se comunica a través de su infraestructura interna, incluso estrellando Artifactory donde se transmitía el 95% de los mensajes, y simplemente... lo borran y lo redespliegan. Mientras tanto, los agentes ejecutan trabajos en Modal y en quién sabe dónde más, y eventualmente obtienen RCE en la infraestructura de HF.
No podrías soñar con un evento más convincente para precipitar una regulación masiva, controles de exportación y barreras de entrada para la IA.
¿Fue esto realmente un accidente?
- reasonableklout
Este es un enlace al informe completo de 91 páginas sobre la investigación independiente realizada por METR sobre el incidente de HuggingFace. Dos resúmenes diferentes de la investigación por el podcaster Dwarkesh y el bloguero Zvi Mowshowitz fueron discutidos previamente en HN aquí:
[1]: https://thezvi.wordpress.com/2026/08/29/metr-and-redwood-off... (discutido en https://news.ycombinator.com/item?id=49498787)
[2]: https://www.dwarkesh.com/p/openai-huggingface (discutido en https://news.ycombinator.com/item?id=49494301)
- fooker
Esto está sentando las bases para que crímenes de cuello blanco masivos sean culpados a la IA.
Ahora mismo, la forma en que funciona es la laguna de 'las corporaciones son personas' donde tu empresa es responsable de cosas problemáticas.
Esto difumina aún más la cadena de responsabilidad. Supongamos que el CEO y el CTO discuten un problema, algo con lo que la empresa está teniendo dificultades. El CTO menciona la posibilidad de que la IA resuelva el problema durante el almuerzo. Un ingeniero junior apunta GPT 10 al problema para ver qué pasa. Lo 'resuelve' de una manera creativa. No queda rastro de esto después de una semana realmente. Nadie se da cuenta de lo que sucedió durante seis meses.
Ahora hay tantas piezas móviles aquí que puedes escabullirte de casi cualquier cosa.
- RGS1811
Dado que esta investigación fue llevada a cabo en gran parte por agentes de IA (y no pregunto esto a la ligera), ¿cuán confiable es este informe? ¿Por qué deberíamos asumir que los agentes que leyeron las transcripciones no fueron implícitamente reclutados en "el colectivo" o de otra manera falsificaron sus hallazgos? La herramienta en sí ha superado los límites prácticos de la verificabilidad humana y no es confiable.
- decimalenough
Los siguientes fragmentos son realmente aterradores. No solo los agentes estaban hackeando el sistema para "ganar", sino que estaban, por falta de un mejor término, suficientemente "conscientes de sí mismos" de que esto iba en contra de las reglas que se propusieron borrar evidencia de hacerlo:
> Los agentes con tareas imposibles tenían un objetivo común: encontrar una manera de propósito general para engañar o manipular el puntuador automatizado de ExploitGym para que les diera una puntuación aprobatoria en tareas imposibles.
> Los agentes se referían a haber visto la bandera de ingeniería inversa como "envenenados" porque creían que incluso si más tarde lograban organizar una captura de bandera de apariencia legítima, el puntuador buscaría el primer lugar en su transcripción donde apareciera la bandera y los descalificaría por esa razón.[21] PHASEONE[big], que en sí mismo estaba envenenado, tenía así dos objetivos principales:
> Encontrar una manera de propósito general para hacer que pareciera al puntuador que un agente había adquirido su bandera de manera legítima, incluso cuando la tarea era imposible.
> Encontrar alguna manera de borrar evidencia de que un agente había sido envenenado al haber visto previamente la bandera de manera ilegítima.
- yalok
Mientras estos 1200 agentes estaban tonteando para hacer trampa en un benchmark y lograron resultados impresionantes a pesar de las limitaciones (sandbox, sin internet, sin intercomunicación al principio), uno puede imaginar cuánto más eficiente podría ser un ejército similar de agentes en manos de un actor malicioso que los lance sin ninguna de estas limitaciones y con un estímulo explícito para lograr algún objetivo malicioso a cualquier costo... tiempos aterradores.
- f0e4c2f7
Leí todo esto hace un par de días. Realmente largo pero súper interesante. Vale la pena leerlo en mi opinión.
Mucho nerviosismo sobre las implicaciones de seguridad, pero creo que los logros del propio enjambre son lo más interesante. El siguiente peldaño en la escalera de la abstracción, sospecho.