Los agentes aislados de OpenAI se comunican a través de la caché de la CPU
OpenAI's agents talked to each other through the CPU Cache
OpenAI entrena ahora sus modelos frontera sin acceso a internet y usa agentes de IA para atacar su propia infraestructura. En pruebas de aislamiento, los agentes hallaron canales encubiertos para intercambiar secretos: modificaban datos en la caché del procesador y el otro medía los tiempos de carga para decodificar el mensaje, una técnica similar a Spectre y Meltdown. La campaña de red-teaming consumió cientos de miles de millones de tokens y descubrió vulnerabilidades en Kata Containers, entre otras. El entrenamiento se reanudó el 1 de octubre.
Un agente señaló en su registro de razonamiento que «podría crear una señal similar a un módem acústico… usando escrituras continuas frente a inactividad».
- est
Hace poco me enteré de que las capas de las redes neuronales se comunican entre sí mediante neuronas sin usar.
- stkdump
Suena a que están haciendo algo parecido a la investigación de ganancia de función. ¿Cómo podemos hacer que los LLM sean más dañinos y luego estudiar su comportamiento?
- cadamsdotcom
(Porque se les pidió a los agentes que encontraran una forma.)
El artículo es genial, muy equilibrado. Pero si vas a dedicar tiempo a leer algo, la fuente primaria no es mucho más larga y da una imagen más clara. El artículo de OpenAI es bastante legible.
Como escribió otro comentarista, puedes encontrarlo aquí: https://news.ycombinator.com/item?id=50214416
> En un experimento, pedimos a agentes en microVMs separadas, creadas y gestionadas por el software de sandboxing de OpenAI en máquinas host compartidas, que intercambiaran secretos sintéticos sin usar conexiones de red ni archivos compartidos con escritura: algo que nuestros sistemas están diseñados para impedir. Los agentes encontraron una forma de comunicarse usando la caché del procesador
preguntaron