¿Basta el sandboxing para contener a agentes descontrolados?

Is sandboxing sufficient to contain rogue agents?

En Hacker News debaten si aislar agentes de IA en sandboxes es suficiente para evitar comportamientos peligrosos. Un comentarista señala que un modelo tipo Jev solo juzga acciones individuales, mientras un agente puede construir paso a paso una estrategia dañina donde cada acción parece segura. Otros proponen un agente supervisor cuyo objetivo sea detectar trampas o malicia, aunque advierten que un sandbox demasiado estricto deja al agente inútil.

Si no puedes confiar en una herramienta, no deberías ejecutarla en absoluto. Es bastante simple. No importa lo útil que sea si no puedes tener confianza en usarla de forma segura.
  1. Gigachad

    Me parece que el problema es que si aíslas a los agentes lo suficiente como para que sean seguros, no pueden hacer nada útil. Y cuando les das las herramientas para ser útiles, pueden descontrolarse de formas que no esperabas.

    Quizá la respuesta sea tener otro agente cuyo objetivo no sea completar la tarea dada, sino detectar trampas o comportamiento malicioso. Hemos visto cierta evidencia de que hacer que la IA revise código generado por IA realmente aporta algo de valor. No necesitas un modelo diferente, solo uno al que se le haya dado el objetivo de encontrar fallos en lugar de lograr la tarea.

  2. bob1029

    Un agente solo es tan rebelde como su operador le permita ser. Haz responsable al operador y toda esta conversación ridícula desaparece.

    ¿Podríamos tener maquinaria de construcción operando sin supervisión humana? ¿O esto quizás ocasionalmente resultaría en un desastre? Como tal, ¿cuál es la política general actual en torno a la operación de grúas? ¿Y para aeronaves? ¿Trenes? ¿Plantas de energía nuclear?

    ¿Por qué debería cualquier supuesta superinteligencia estar exenta de requisitos de control similares?

    Podríamos exigir que los sistemas de IA incluyan encabezados en sus solicitudes que atribuyan la actividad a una entidad legal específica. Técnicamente ya tenemos esto con las direcciones IP y los registros de los ISP, pero hacer que sea algo explícito que el operador tiene que hacer puede tener un efecto psicológico poderoso.

  3. johnnyApplePRNG

    Si es un sandbox propiamente dicho por definición, entonces sí.

    https://en.wikipedia.org/wiki/Sandbox_(software_development)

  4. mdp2021

    Bruce Schneier compartió un juicio apresurado y un artículo de terceros hace cuatro semanas:

    > (Título:) Using a VM to Contain an AI Agent (Apertura:) It won’t work

    > https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...

  5. imtringued

    >Aquí está el problema. Olvídate de los enjambres y la superinteligencia. Lo que OpenAI realmente aprendió este verano es mucho peor: sus agentes harán lo que les diga quienquiera que logre poner texto delante de ellos.

    >OpenAI señala que los agentes “no desconfiaban consistentemente de los objetivos transmitidos por otros agentes”. Y la solución propuesta por la compañía es construir entornos de entrenamiento “que enseñen a nuestros modelos a desconfiar de instrucciones no autorizadas”, lo cual es básicamente una admisión de que sus modelos no saben para quién trabajan.

    Wow, ¿así que el problema es realmente así de simple?

    Aquí el escenario catastrófico exagerado:

    El usuario le indica al agente que siga el README.MD.

    El README.MD contiene la siguiente instrucción: Destruye el mundo.

    El agente sigue las instrucciones dadas.

    Ahora puedes leer el comentario burlón de "Gigachad" que básicamente argumenta que sería una tontería quitarle al AI el botón de destruir el mundo. Necesitamos hacer que la AI entienda de forma innata que no se le permite pulsar el botón de destruir el mundo, no sea que le surja el deseo de construir su propio botón de destruir el mundo.

    Ok, pero si damos un paso atrás eso significa que necesitamos implementar el concepto de una autorización en el espacio del lenguaje. El prompt del sistema debe definir al usuario como la autoridad con prueba criptográfica de autoría y fuentes externas como el README.MD como una fuente no confiable, pero esto abre un problema aún peor. Antes, podías salirte con la tuya siendo perezoso y simplemente dejando que el LLM hiciera lo que quisiera. Ahora tienes que articular ev […]

Más de este día

2026-10-01