Reicht Sandboxing aus, um entgleiste Agenten einzudämmen?

Is sandboxing sufficient to contain rogue agents?

In der Hacker-News-Diskussion zu einem Beitrag von cryptographyengineering.com geht es um die Frage, ob Sandboxing rogue AI-Agenten wirksam einsperren kann. Ein Kommentator bezweifelt, dass ein Jev-Modell genügt, da es nur einzelne Aktionen bewertet, während ein Agent Schritt für Schritt eine gefährliche Strategie aufbauen kann. Andere sehen den Kernkonflikt: Sichere Sandboxes machen Agenten nutzlos, nützliche Tools machen sie unberechenbar.

Wenn du einem Tool nicht vertrauen kannst, solltest du es überhaupt nicht ausführen. So einfach ist das.
  1. Gigachad

    Mir scheint, das Problem ist, dass Agenten, wenn man sie ausreichend sandboxt, um sicher zu sein, nichts Nützliches tun können. Und wenn man ihnen die Werkzeuge gibt, um nützlich zu sein, können sie auf unerwartete Weise entgleisen.

    Vielleicht ist die Antwort, einen anderen Agenten zu haben, dessen Ziel es nicht ist, die gegebene Aufgabe zu erfüllen, sondern Betrug oder bösartiges Verhalten zu erkennen. Wir haben einige Hinweise darauf gesehen, dass es tatsächlich einen gewissen Wert hat, wenn KI KI-generierten Code überprüft. Man braucht kein anderes Modell, nur eines, dem das Ziel gegeben wurde, Fehler zu finden, statt die Aufgabe zu erfüllen.

  2. bob1029

    Ein Agent ist nur so entgleist, wie es sein Betreiber zulässt. Man halte den Betreiber verantwortlich, und diese ganze lächerliche Diskussion löst sich in Luft auf.

    Könnten wir Baumaschinen ohne menschliche Aufsicht betreiben? Oder würde das vielleicht gelegentlich zu einer Katastrophe führen? Wie sieht es dementsprechend mit der derzeitigen allgemeinen Politik zum Betrieb von Kränen aus? Wie steht es mit Flugzeugen? Zügen? Kernkraftwerken?

    Warum sollte irgendeine angebliche Superintelligenz von ähnlichen Kontrollanforderungen ausgenommen sein?

    Wir könnten vorschreiben, dass KI-Systeme in ihren Anfragen Header enthalten, die die Aktivität einer bestimmten juristischen Person zuordnen. Technisch gesehen haben wir das bereits mit IP-Adressen und ISP-Logs, aber daraus eine explizite Sache zu machen, die der Betreiber tun muss, kann einen starken psychologischen Effekt haben.

  3. johnnyApplePRNG

    Wenn es per Definition eine ordentliche Sandbox ist, dann ja.

    https://en.wikipedia.org/wiki/Sandbox_(software_development)

  4. mdp2021

    Bruce Schneier hat vor vier Wochen eine scharfe Einschätzung und einen Artikel eines Dritten geteilt:

    > (Titel:) Using a VM to Contain an AI Agent (Einleitung:) It won’t work

    > https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...

  5. imtringued

    >Hier ist das Problem. Vergiss die Schwärme und die Superintelligenz. Was OpenAI diesen Sommer wirklich gelernt hat, ist viel schlimmer: Ihre Agenten tun, was ihnen gesagt wird, von wem auch immer es schafft, Text vor sie zu bringen.

    >OpenAI stellt fest, dass Agenten „Zielen, die von anderen Agenten weitergegeben wurden, nicht durchgängig misstrauten“. Und der vorgeschlagene Fix des Unternehmens ist, Trainingsumgebungen zu bauen, „die unseren Modellen beibringen, nicht autorisierten Anweisungen zu misstrauen“, was im Grunde ein Eingeständnis ist, dass ihre Modelle nicht wissen, für wen sie arbeiten.

    Wow, das Problem ist also wirklich so einfach?

    Hier das übertriebene Worst-Case-Szenario:

    Der Nutzer weist den Agenten an, die README.MD zu befolgen.

    Die README.MD enthält die folgende Anweisung: Zerstöre die Welt.

    Der Agent befolgt die gegebenen Anweisungen.

    Jetzt kann man den spöttischen Kommentar von „Gigachad“ lesen, der im Grunde argumentiert, es wäre albern, der KI den Knopf zum Zerstören der Welt wegzunehmen. Wir müssen der KI angeboren verständlich machen, dass sie den Knopf zum Zerstören der Welt nicht drücken darf, damit sie nicht den Wunsch entwickelt, ihren eigenen Knopf zum Zerstören der Welt zu bauen.

    Okay, aber wenn wir einen Schritt zurücktreten, bedeutet das, dass wir das Konzept einer Autorisierung im Sprachraum implementieren müssen. Der System-Prompt muss den Nutzer als Autorität mit kryptografischem Nachweis der Urheberschaft definieren und externe Quellen wie die README.MD als nicht vertrauenswürdige Quelle, aber das eröffnet ein noch schlimmeres Problem. Vorher konnte man faul sein und einfach die LLM machen lassen, was sie will. Jetzt muss man artikulieren, ev […]

Mehr von diesem Tag

2026-10-01