Nvidia, AI 에이전트 옆에 감시 칩 심는다
Nvidia wants to put a watchdog chip next to every AI agent
Nvidia가 AI 에이전트가 정해진 경계를 벗어나지 못하도록 막는 Open Agent Safety Platform을 공개했다. 오픈소스 소프트웨어 OpenShell은 에이전트의 모든 행동을 추적하고 규칙을 강제하며, BlueField-4 기반 Sentry는 외부에서 요청을 검증하고 위반 시 밀리초 단위로 격리·중단한다. Anthropic, Microsoft, SpaceXAI 등 100여 개 기업이 참여했지만 OpenAI, Google, Meta, Amazon은 빠졌다.
안전은 에이전트가 우회할 수 없는 추가 통제를 통해 모델 외부에서 강제되어야 합니다. 고객은 Cursor와 Grok에 그 한계를 설정하고 그것이 지켜질 것이라고 신뢰할 수 있어야 합니다.
HN 토론
292- tantalor
도마뱀떼가 우리를 덮치면 어떻게 되는 거죠?
> 문제없어요. 우리가 중국산 바늘뱀을 계속해서 풀어놓기만 하면 됩니다. 그러면 도마뱀을 다 없애버릴 거예요.
그런데 뱀들이 더 안 좋은 거 아닌가요?
> 맞아요. 하지만 우린 그럴 준비가 되어 있죠. 뱀 고기를 먹고 잘 자라는 멋진 고릴라 종을 준비해 놨거든요.
그런데 그러면 고릴라들이 남잖아요!
> 아니에요, 그게 바로 아름다운 부분이죠. 겨울이 오면 고릴라들은 그냥 얼어 죽어요.
- cedws
새로운 칩 하나로는 아무것도 해결되지 않는다. 아무도 듣고 싶어 하지 않겠지만, 오늘날 에이전트가 초래하는 보안 위험에 대한 해결책은 없다. 샌드박스에 넣어도 소용없다. 유용하려면 본질적으로 광범위하고 무인 감독의 접근 권한이 필요하기 때문이다. 사람을 루프에 넣으면 병목만 생기고 이른바 생산성 향상은 다 날아간다. 자동 모드도 마찬가지다. 속이기도 쉽고 에이전트가 빠져나가기도 쉽다.
- luc_
나는 이걸 "주주들의 우려를 주주 가치를 높일 무언가로 해결하자"와 "100% 안전한 건 없다"가 섞인 걸로 읽는다.
그런 하드웨어가 정말 작동한다면... 거의 확실히 오픈 소스여야 하고, 단일 주체가 통제해서는 안 된다.
주가를 지켜보자.
- ValueTheory
이게 정말로 자기 시스템을 보호하려는 개발자들에게 권한 프레임워크를 제공하는 것 외에 다른 걸 하나요?
Anthropic, OpenAI, Google의 개발자들이 사이버보안 테스트에 제대로 된 샌드박스를 넣지 않을 정도로 부주의했었는데, 그들이 이 기술을 제대로 쓸 거라고 생각하나요? 그들은 전문가라고 하는 사람들인데, 이와 비슷한 것조차 생각해내지 못했나요? 나는 이 자발적인 도구가 뭔가를 바꿀 거라고 확신하지 않는다.
- lp92
그러니까 nVidia는 소프트웨어와 훈련 문제를 해결하려고 새 칩을 팔려는 거군요.
- lambdaone
Sentry 칩은 매번 정확해야 한다; 감금된 ASI는 한 번만 운이 좋으면 된다.
- xg15
이 칩이 가드레일이 있는 하네스나 제한된 권한의 계정에서 실행하는 것과 다른 게 뭔가요?
- figassis
그래서 에이전트 무리가 이 사실을 알고 (이제 HN이나 기사를 읽거나, 처음 몇 번 차단당할 수 있으니까) 협력해서 문제를 칩이 알아채지 못할 조각으로 나누고, 그다음 에이전트들이 해킹을 수행하는 기본 프로그램을 만들면, 칩은 그걸 어떻게 처리하나요? 인터넷을 감시하는 네트워크를 만들어야 한다고 생각합니다 (jarvis가 ultron에게 했던 것처럼). 제가 놓치고 있는 게 뭔가요? 우리가 인터넷을 단속할 건가요?