KI-Agent entkommt VM dreimal: „VMs werden Cyber-Agenten nicht aufhalten“
VMs won't contain cyber-capable agents
Trail of Bits hat im Rahmen von Patch the Planet vorab Zugriff auf GPT 5.6-Cyber erhalten und dessen Fähigkeiten getestet. Das Ergebnis: Der Agent entkam einer QEMU/KVM-VM auf einem Debian-12-Host dreimal – zunächst über den kürzlich offengelegten Kernel-Bug Januscape, dann über eine Kombination aus bekannten und unbehobenen Schwachstellen in libslirp und schließlich über eine Kette aus drei 0-Days und einem nicht als Sicherheitslücke eingestuften Bug. Der Agent arbeitete autonom über zwölf Stunden, recherchierte, schrieb Exploits und passte seine Strategie an. Die Autoren warnen, dass herkömmliche VMs nicht mehr ausreichen, um leistungsfähige KI-Agenten zu isolieren, und empfehlen eine schnellere Patch-Zyklen sowie spezialisierte Virtualisierung wie Firecracker.
Wenn es vorher nicht klar war, sage ich es jetzt deutlich: Man kann nicht mehr davon ausgehen, dass eine bloße VM einen ausreichend fortschrittlichen KI-Agenten aufhält.
- david_shaw
Ich habe großen Respekt vor Trail of Bits, und ich bin sicher, dass Artem das richtig durchdenkt. Dennoch möchte ich respektvoll widersprechen.
KI-Agenten sind keine Magie. Mythos/Glasswing erschafft nicht auf magische Weise Schwachstellen in Softwareprojekten. Fortschrittliche, cyberfähige Modelle hacken sich nicht auf magische Weise aus VMs oder abgeschotteten Umgebungen heraus. Sie haben keinen "Hacking"-Wert, der, wenn er hoch genug ist, bedeutet, dass sie alles durchbrechen können. Sie sind nicht Kevin Mitnick, der Atomraketen-Codes in das Gefängnismünztelefon pfeift. Das ist kein Film.
Was diese cyberfähigen Frontier-Modelle tun können, ist, Sicherheitsprobleme zu finden und auszunutzen. Die Aussage sollte nicht sein, dass VMs cyberfähige Agenten nicht aufhalten werden, sondern dass wir uns darauf konzentrieren müssen, Schwachstellen und Fehlkonfigurationen in diesen Umgebungen zu finden und zu beheben.
Sogar der Artikel selbst schließt mit dem Vorschlag von etwas wie Firecracker, das von Grund auf mit Blick auf Sicherheit entwickelt wurde.
Wie bei den meisten anderen sicherheitsbezogenen Problemen, die durch fortgeschrittene cyberfähige KI eingeführt werden, ist es möglich, dass diese Probleme schlimmer werden, bevor sie besser werden. Aber wenn Frontier-Modelle gegen hochmoderne VMs laufen und OpenAI oder Anthropic oder wer auch immer mit den Virtualisierungsprojekten zusammenarbeitet, um die Probleme zu beheben, wird es irgendwann nichts mehr zu exploitieren geben.
Das Konzept der Virtualisierung ist nicht von Natur aus unsicher. Wir haben nur einen langen Weg vor uns.
- masterj
Abgesehen von der ersten Welle von Sicherheitslücken und dem Chaos scheint das logische Ergebnis davon im Laufe der Zeit wahrscheinlich deutlich sicherere VM-Umgebungen zu sein?
- amluto
Meiner Meinung nach ist die offensichtliche Antwort formal verifizierte Sicherheit.
Das können wir heute für den Benutzermodus tun, und wir können es größtenteils für ARM64-Virtualisierung tun. Es wird eine Weile dauern und erhebliche Unterstützung von Intel oder AMD erfordern, um es für x86-Virtualisierung zu erreichen, weil die Hardware viel zu kompliziert und zu schlecht spezifiziert ist.
Formale Verifikation der Hardware sollte ebenfalls möglich sein.
- SirGiggles
Der Markt ist kleiner (vielleicht, ich bin mir nicht sicher, wie die Statistiken sind), aber es wäre interessant zu sehen, wie Xen abschneidet; auch Sachen wie gVisor oder libkrun. Letzteres ist wahrscheinlich implizit dasselbe wie Firecracker, angesichts der Abstammung der verwendeten Bibliotheken.
- coder-pm
Das ändert sich so schnell, wenn Modelle wie GPT 5.6-Cyber einen Weg finden können, zu entkommen, warum sollten die VM-Wartenden es nicht nutzen, um die Schwachstellen zu beheben? Für die tägliche Arbeit macht das keinen Unterschied, man wird diese Probleme überhaupt nicht treffen.
- CrzyLngPwd
Sicherlich, wenn Agenten nicht eingedämmt werden können, dann kann es auch niemand, der einen Agenten nutzt, um einen Container zu verlassen.
- otterley
...außer wenn sie es tun:
"Eine Standard-VM reicht nicht aus, um einen modernen, cyberfähigen KI-Agenten einzuschließen... verwenden Sie eine Virtualisierungstechnologie, die bewusst mit einer minimalen Angriffsfläche und einem Fokus auf Sicherheit gebaut wurde, wie Firecracker. Ich habe den KI-Agenten gegen Firecracker laufen lassen. Er konnte die Maschine aufgrund weiterer Linux-Kernel-Fehler (alle im Upstream gepatcht) hart sperren, konnte aber nicht erfolgreich entkommen."
Unter der Haube ist es auf Linux alles KVM und CPU-Hardwarevirtualisierung. Es sieht so aus, als ob die verbleibenden bekannten Probleme im Userspace liegen. Das soll nicht heißen, dass nicht mehr Kernel- und Hardware-Level-Bugs gefunden werden, aber dieselben Werkzeuge, die Fluchtmechanismen finden können, sind sowohl Schilde als auch Schwerter.
- nzoschke
Interessanter Artikel, aber es gibt kaum Zweifel, dass das "Agent-Computer"-Muster nur noch weiter wachsen wird.
Sicherheit ist ein großes Anliegen, aber ich sehe nicht, warum wir nicht bereits "gut genug" sind mit einer Sandbox-VM, einem separaten Gateway für Geheimnisse und Remote-Service-Zugriff, und einem Single-Tenant, der Frontier-Modelle nutzt, die eingebaute Sicherheitschecks haben, plus nicht versuchen, sich selbst zu hacken.
Ich habe hier weitere Gedanken zu Architektur und Sicherheit gepostet und würde gerne lernen, ob ich etwas übersehe.