Nvidia will einen Wachhund-Chip neben jeden AI-Agenten setzen
Nvidia wants to put a watchdog chip next to every AI agent
Nvidia hat die Open Agent Safety Platform vorgestellt: OpenShell, eine kostenlose Open-Source-Software, die Agenten überwacht und Regeln durchsetzt, und Sentry, ein Referenzdesign auf BlueField-4-Chips, das Agenten bei Regelverstößen in Millisekunden stoppt. Über 100 Unternehmen sind an Bord, darunter Anthropic, Microsoft und SpaceXAI. Die Kontrollen liegen außerhalb des Modells, damit Agenten sie nicht umgehen können. Unabhängig getestet wurde das System noch nicht.
Safety should be enforced outside the model by additional controls the agent can’t get past.