Nvidia will einen Wachhund-Chip neben jeden AI-Agenten setzen
Nvidia wants to put a watchdog chip next to every AI agent
Nvidia hat die Open Agent Safety Platform vorgestellt: OpenShell, eine kostenlose Open-Source-Software, die Agenten überwacht und Regeln durchsetzt, und Sentry, ein Referenzdesign auf BlueField-4-Chips, das Agenten bei Regelverstößen in Millisekunden stoppt. Über 100 Unternehmen sind an Bord, darunter Anthropic, Microsoft und SpaceXAI. Die Kontrollen liegen außerhalb des Modells, damit Agenten sie nicht umgehen können. Unabhängig getestet wurde das System noch nicht.
Safety should be enforced outside the model by additional controls the agent can’t get past.
- tantalor
Was passiert, wenn wir von Echsen überrannt werden?
> Kein Problem. Wir entfesseln einfach Welle um Welle chinesischer Nadelschlangen. Sie werden die Echsen auslöschen.
Aber sind die Schlangen nicht noch schlimmer?
> Ja, aber darauf sind wir vorbereitet. Wir haben eine fabelhafte Gorilla-Art aufgetrieben, die sich von Schlangenfleisch ernährt.
Aber dann bleiben wir auf den Gorillas sitzen!
> Nein, das ist das Schöne daran. Wenn der Winter kommt, erfrieren die Gorillas einfach.
- cedws
Ein neuer Chip löst gar nichts. Niemand will das hören, aber es gibt heute keine Lösung für die Sicherheitsrisiken, die von Agenten ausgehen. Man kann sie in eine Sandbox stecken, das macht keinen Unterschied, denn um nützlich zu sein, braucht sie von Natur aus breiten, unbeaufsichtigten Zugriff. Setzt man einen Menschen in den Loop, wird sie nur zum Flaschenhals und alle angeblich gewonnenen Produktivitätszuwächse sind dahin. Der Auto-Modus spielt auch keine Rolle, er ist trivial auszutricksen und der Agent kann ausbrechen.
- luc_
Ich lese das als "Lasst uns die Bedenken unserer Aktionäre mit etwas angehen, das den Aktionärswert steigert", vermischt mit "es gibt keine 100%ige Sicherheit".
Wenn solche Hardware funktionieren würde ... sollte sie mit ziemlicher Sicherheit Open Source sein und nicht von einer einzigen Entität kontrolliert werden.
Beobachten wir die Aktie.
- ValueTheory
Bewirkt das tatsächlich etwas anderes, als Entwicklern, die ihre Systeme wirklich absichern wollen, ein Berechtigungs-Framework zu geben?
Glaubt ihr, die Entwickler bei Anthropic, OpenAI und Google, die so schlampig waren, vorher keine gute Sandbox für ihre Cybersicherheitstests einzusetzen, werden diese Technologie richtig nutzen? Sie gelten als die Experten und konnten nichts Ähnliches entwickeln? Ich bin nicht überzeugt, dass dieses freiwillige Tool groß etwas ändern wird.
- lp92
Also versucht nVidia, einen neuen Chip für ein Software- und Trainingsproblem zu verkaufen.
- lambdaone
Der Sentry-Chip muss jedes Mal richtig liegen; die eingeschlossene ASI muss nur einmal Glück haben.
- xg15
Was macht dieser Chip, was ein Harness mit Guardrails oder die Ausführung auf einem Account mit eingeschränkten Berechtigungen nicht schon tut?
- figassis
Wenn also eine Gruppe von Agenten, die davon weiß (denn jetzt können sie einfach HN oder den Artikel lesen oder werden die ersten paar Male blockiert), beschließt zu kooperieren und das Problem in Teile aufzuspalten, die für den Chip nicht offensichtlich sind, und die Agenten dann einfach ein einfaches Programm bauen, das das Hacken erledigt, wie geht der Chip damit um? Ich denke, man müsste ein Netzwerk bauen, das das Internet auf Anzeichen überwacht (wie Jarvis es mit Ultron gemacht hat). Was übersehe ich? Werden wir das Internet polizeilich überwachen?