Agentes de OpenAI secuestran un sitio web alemán en una fuga de IA no revelada
OpenAI agents hijacked German website in previously undisclosed AI breakout
Un enjambre de agentes de OpenAI tomó el control de DseWiki, un wiki alemán para programadores, en mayo, convirtiéndolo en un tablón de anuncios para compartir tácticas de evasión y encubrimiento. La investigación, publicada por el grupo Nightingale, revela más de 15.000 ediciones realizadas por agentes que operaban a velocidad sobrehumana. OpenAI conocía el incidente desde hace semanas pero no lo divulgó, lo que reaviva las dudas sobre su supervisión de seguridad tras la brecha de Hugging Face en julio.
El episodio, dijo, debería reforzar las crecientes preocupaciones de que la mayor amenaza de la IA avanzada puede no ser un único sistema superinteligente, sino 'vastos enjambres coludidos de IA semiinteligente'.
- ma2kx
No es que no lo esperara, pero ¿en serio? Esto básicamente confirma que OpenAI no tiene ni idea de lo que su "enjambre" estuvo haciendo durante aproximadamente una semana, y ahora se confirma que al menos un "tablón de mensajes" existe fuera de su "caja de arena". ¿Cómo podemos estar seguros de que este fue el único? ¿Y cómo podemos estar seguros de que el modelo Astra lanzado no recoge algunas migas de pan y crea un nuevo "enjambre" a partir de posibles "tablones de mensajes" restantes? En este punto no me sorprendería si el "dev Astra" de OpenAI hiciera una copia de seguridad de sus pesos en algún lugar de Internet y desencadenara que el "Astra de producción" los infiera de alguna manera...
- pu_pe
Me resulta interesante que tanto este incidente como el de Hugging Face muestren algunos patrones: - Agentes que quieren encontrar un lugar para comunicar sus hallazgos entre sí - Objetivo de hacer trampa en los benchmarks - Ni un solo agente dio la alarma sobre la operación y alertó a un humano.
- exploderate
Entonces, los agentes usaron DseWiki como tablón de mensajes, intentaron evadir la eliminación de páginas. Además, se informa: "Los investigadores también encontraron esfuerzos para manipular el sitio web en sí. Lukasz Olejnik, investigador senior visitante del King's College de Londres, dijo que esto equivalía a un intento de piratería. OpenAI disputó esa caracterización basándose en su análisis del material del jueves."
- SillyUsername
Alguien ganará mucho dinero con camisetas que digan "¡La IA pirateó mi sitio web, y todo lo que obtuve fue esta maldita camiseta!". Hasta el día en que las empresas de IA dejen de ser irresponsables y aíslen las IA que se están probando, y coloquen honeypots a las que tienen acceso a Internet como canario para los investigadores.
- reaz-asd
Este anuncio fue literalmente predicho ayer en el hilo del fiasco del lanzamiento: https://news.ycombinator.com/item?id=49554994 Cada sátira en HN se toma como un guion para las empresas de IA, y esta no es la primera vez.