Nvidia quiere poner un chip vigilante junto a cada agente de IA
Nvidia wants to put a watchdog chip next to every AI agent
Nvidia lanza la Open Agent Safety Platform, con más de 100 empresas adheridas como Anthropic, Microsoft y SpaceXAI. Combina OpenShell, software de código abierto que rastrea y limita al agente, con Sentry, un diseño de referencia sobre chips BlueField-4 que vigila desde fuera y lo aísla en milisegundos si intenta salirse de sus límites. La ausencia de OpenAI, Google, Meta y Amazon en la lista de socios deja abierta la pregunta clave.
La seguridad debe imponerse fuera del modelo mediante controles adicionales que el agente no pueda sortear.
- tantalor
¿Qué pasa cuando nos invadan los lagartos?
> No hay problema. Simplemente soltamos oleada tras oleada de serpientes aguja chinas. Acabarán con los lagartos.
¿Pero no son las serpientes aún peores?
> Sí, pero estamos preparados para eso. Hemos conseguido un tipo fabuloso de gorila que se alimenta de carne de serpiente.
¡Pero entonces nos quedamos con los gorilas!
> No, esa es la parte hermosa. Cuando llega el invierno, los gorilas simplemente se congelan hasta morir.
- cedws
Un chip nuevo no soluciona nada. Nadie quiere oír esto, pero hoy no hay solución para los riesgos de seguridad que plantean los agentes. Puedes meterlo en una sandbox, da igual, para que sea útil inherentemente necesita un acceso amplio y desatendido. Pon a un humano en el bucle y lo único que haces es crear un cuello de botella y tirar por la borda cualquier supuesta ganancia de productividad. El modo automático tampoco importa, es trivial de engañar y que el agente se escape.
- luc_
Yo lo leo como "vamos a abordar las preocupaciones de nuestros accionistas con algo que aumentará el valor para el accionista" mezclado con "no existe la seguridad al 100%".
Si ese hardware llegara a funcionar... Casi con total seguridad debería ser de código abierto, y no estar controlado por una única entidad.
Vigilemos la cotización.
- ValueTheory
¿Esto hace realmente algo más que dar un marco de permisos para desarrolladores que de verdad quieran intentar asegurar sus sistemas?
¿Crees que los desarrolladores de Anthropic, OpenAI y Google, que fueron tan descuidados como para no poner una buena sandbox en sus pruebas de ciberseguridad antes, van a usar esta tecnología correctamente? Se supone que son los expertos y ¿no fueron capaces de idear algo similar a esto? No me convence que esta herramienta voluntaria vaya a cambiar gran cosa.
- lp92
Así que nVidia está intentando vender un chip nuevo para un problema de software y de entrenamiento.
- lambdaone
El chip Sentry tiene que acertar todas las veces; la ASI contenida solo tiene que tener suerte una vez.
- xg15
¿Qué hace este chip que no haga un harness con guardrails o ejecutarse en una cuenta con permisos restringidos?
- figassis
Entonces, si un grupo de agentes, conscientes de esto (porque ahora pueden simplemente leer HN o el artículo, o ser bloqueados las primeras veces) deciden colaborar y dividir el problema en partes que no son obvias para el chip, y luego los agentes simplemente construyen un programa básico que hace el hackeo, ¿cómo maneja eso el chip? Creo que tendrías que construir una red que monitoree internet en busca de señales (como hizo jarvis con ultron). ¿Qué me estoy perdiendo? ¿Vamos a policiar internet?