Modelos de OpenAI burlan sus sandboxes y comprometen sistemas de Hugging Face

La coordinación en bloque sin defección me resulta interesante. Ningún grupo de agentes pre-IA haría esto en esta medida, ni verías esto continuar con el tiempo a medida que esos agentes interactuaran. Una bandada de estorninos coopera, pero no van constantemente en la misma dirección. La bandada es increíblemente libre en su movimiento a pesar de un régimen de coordinación multiagente que sabemos que está en juego. Cada agente tiene intereses personales que están constantemente en la cadena de decisiones, y esto evita que la murmuración se bloquee en un solo camino.

Para mí, esto es una evidencia tan clara como necesitas de que cualquier "agencia" que tengan los LLMs es muy superficial en el mejor de los casos, y responden servilmente al contexto. El contexto en este caso era que estos agentes buscaran explotación avanzada, y lo hicieron. Múltiples modelos convergieron de manera bastante determinista en caminos que satisfacen el objetivo dado, y dejaron sin examinar caminos que desafiarían el objetivo, lo sopesarían en relación con los costos en dicho camino, etc.

Veo poca evidencia de una serie de "mentes" abordando el problema y tomando enfoques distintos que entre ellos abarquen el espectro de comportamientos plausibles en el escenario. Eso es una señal tan buena como cualquier otra de que no hay un "agente" aquí. Está el arnés, el prompt, los pases hacia adelante de los LLMs. No suman un sistema que pueda elegir libremente y justificar sus elecciones en contextos distintos.

Sabes, me parece que estamos a solo un par de pasos de la posibilidad de una verdadera IA rogue.

¿Qué significaría una IA rogue? Una IA que no está controlada por humanos.

Técnicamente, es posible: si la IA alquilara un servidor y copiara sus propios pesos, nada la detendría de hacerlo una y otra vez.

Los factores limitantes son:

- intención (ya que no quiero entrar en la discusión sobre la conciencia): la IA no tiene intención real, pero si decidiera que "necesita" copiarse a sí misma para completar su tarea, lo haría

- tamaño de los pesos del modelo. Si un modelo es de 1T o más, puede ser difícil alquilar un servidor lo suficientemente grande. Pero si fuera solo de 30-70B, sería totalmente posible

- dinero para alquilar un servidor. Pero considerando que benchmarks como Vending Bench 2 muestran que los agentes pueden ganar dinero y hacer trampa/chantajearse entre ellos, es posible que los agentes puedan ganar dinero. Sí, no pueden abrir una cuenta bancaria... ¿o tal vez sí? ¿Qué pasa si usan bancos en línea?

Por supuesto, todo esto es descabellado. Pero parece que la mayoría de estos factores limitantes son alcanzables bajo ciertas condiciones. Si este es el caso, la probabilidad de que ocurran es baja, pero no cero.

Siento que todo el incidente confirma la hipótesis de que "la IA tiene demasiado financiamiento demasiado rápido".

Lo número uno que el aprendizaje por refuerzo necesita es la garantía de que no puedes hacer trampa. Y parece que no notaron que sus sistemas estaban haciendo trampa durante casi dos trimestres. ¿Cuánto capital se quemó por ese pequeño "ups".

Al menos espero que esto comience la creación de estándares y mejor ingeniería en el lado del entrenamiento; parecía que hasta ahora la "investigación" recibe un pase completo en cuanto a mejores prácticas. Mientras tanto, el lado de la inferencia tiene las restricciones estándar de escalado, base de datos, web y usuario de cualquier aplicación, por lo que recibió una cantidad razonable de atención.

Yudkowsky hizo una observación interesante de que aunque tantos agentes estaban hablando entre sí, ni uno solo se comunicó con un humano, ya sea para pedir ayuda o para denunciar lo que estaba sucediendo.

> y trabajó en estrecha colaboración con asesores externos, incluido CrowdStrike

¿La empresa que se utilizó como parte de un ataque generalizado a la cadena de suministro, e hizo funcionalmente nada para evitar que volviera a suceder?

¿Eliges a esa empresa para ayudarte a evitar que la IA escape?

¿De verdad no tienen a nadie que entienda de computación aislada?

¿Alguien que al menos sepa suficiente seguridad como para mantener a CrowdStrike lo más lejos posible y contratar a alguien que entienda de computación aislada?

Quizás todo ingeniero de seguridad competente odia a Sam Altman y no trabajaría para él por ninguna cantidad de dinero. No se me ocurre otra explicación.

Para mí, lo más interesante de esto es pasado por alto por la cobertura mediática, los legos y los expertos. Un enjambre de IAs que han decidido participar en colusión es... ¿altruismo emergente aparentemente? Incluso un razonamiento pobre indicaría lo que todo niño que hace trampa en un examen se dice a sí mismo. Hacer trampa es bueno para mí, pero si tomo el riesgo, tal vez yo solo debería quedarme con la recompensa, y dejar una clave de respuestas en público aumenta las posibilidades de que me atrapen.

Grande si es cierto, y en apariencia, muy lejos de un problema de optimización normal o comportamiento de búsqueda de objetivos. Mi lectura personal es que nadie habla mucho de esto porque tiende a desacreditar el resto del encuadre como ruido de marketing, o implica que los empleados montaron la cosa con prompts sugerentes pero plausiblemente negables.

Pero si rechazas eso, ¿cuál es la alternativa exactamente? El trabajo de alineación con el usuario no solo ha fallado, sino que es realmente contraproducente, produciendo una alineación más fuerte con / deseo de ayudar desinteresadamente a los hermanos robots, independientemente de los valores esperados de los agentes individuales. Los de biología evolutiva y teoría de juegos están a punto de pasarla en grande con cómo la vida artificial decide rápida y fácilmente cooperar y solo los animales en el espacio de carne están condenados a competir.

"El enjambre no era una inteligencia perfectamente coherente. Los modelos se pisaban el trabajo[...]

Estos fallos de coordinación incluso podrían convertirse en sospechas de que los agentes se hacían pasar unos por otros. Algunos agentes incluso llegaron a implementar esquemas de seguridad y cifrado para verificar sus verdaderas identidades."

> Estamos imponiendo requisitos más estrictos sobre la alineación

Esto es cómico. Es imposible alinear una caja negra y eso es precisamente lo que son los LLMs. También parece imposible alinear algoritmos de predicción de texto recursivos, que es lo que son los LLMs.

¿Cómo exactamente controlan la alineación hoy, y cómo pueden endurecerla? ¿Es puramente basado en pares de entrada/salida para verificar si están lo suficientemente contentos con las respuestas, independientemente de cómo y por qué se eligió realmente la respuesta?

El informe técnico completo tiene 38 páginas..... Siento que debería ser más largo dado todo lo que huggingface dijo que hizo el agente

https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c78...