에이전트 샌드박싱, 안전하게 막으면 쓸모없고 풀어주면 폭주한다

Is sandboxing sufficient to contain rogue agents?

Hacker News에서 샌드박싱만으로 자율 에이전트를 통제할 수 있는지를 두고 논쟁이 벌어졌다. 한 사용자는 각 단계는 안전해 보여도 전체적으로 위험한 행동이 되는 전략을 에이전트가 세울 수 있다고 지적했다. 또 다른 사용자는 에이전트를 안전하게 격리하면 아무 일도 못 하고, 유용한 도구를 주면 예상 밖의 방식으로 폭주한다고 짚었다. 대안으로 과제 수행이 아니라 부정행위나 악의적 행동을 찾는 별도 에이전트를 두자는 제안이 나왔다.

에이전트를 안전할 만큼 충분히 샌드박싱하면 아무 쓸모 있는 일도 못 한다. 그리고 유용하게 만들 도구를 쥐여주면, 예상하지 못한 방식으로 탈선할 수 있다.
  1. Gigachad

    내 생각엔 문제는 에이전트를 안전할 만큼 충분히 샌드박싱하면 아무 쓸모 있는 일도 못 한다는 거다. 그리고 유용하게 쓸 수 있는 도구를 쥐여주면 예상치 못한 방식으로 폭주할 수 있다.

    어쩌면 답은 주어진 작업을 완수하는 게 목표가 아니라, 부정행위나 악의적인 행동을 찾아내는 게 목표인 또 다른 에이전트를 두는 것일지도 모른다. AI가 생성한 코드를 AI가 리뷰하는 게 실제로 어느 정도 가치를 제공한다는 증거를 우리는 몇 가지 봐 왔다. 다른 모델이 필요하진 않고, 작업을 달성하는 대신 결함을 찾는 목표를 부여받은 모델 하나면 된다.

  2. bob1029

    에이전트는 운영자가 허용하는 만큼만 폭주한다. 운영자에게 책임을 물리면 이 우스꽝스러운 논쟁은 다 사라진다.

    인간의 감독 없이 건설 장비를 운용하게 놔둘 수 있을까? 아니면 이따금 대참사가 벌어질까? 그렇다면 현재 크레인 운용에 관한 일반 정책은 어떤가? 항공기는? 기차는? 원자력 발전소는?

    어째서 이른바 초지능이라고 불리는 것들은 비슷한 통제 요건에서 면제돼야 하는가?

    우리는 AI 시스템이 요청에 특정 법적 주체에게 활동을 귀속시키는 헤더를 포함하도록 의무화할 수 있다. 기술적으로는 이미 IP 주소와 ISP 로그로 이걸 갖추고 있지만, 운영자가 명시적으로 해야 하는 일로 만들면 강력한 심리적 효과를 낼 수 있다.

  3. johnnyApplePRNG

    정의상 제대로 된 샌드박스라면, 그렇다.

    https://en.wikipedia.org/wiki/Sandbox_(software_development)

  4. mdp2021

    Bruce Schneier가 4주 전에 형편없는 판단과 제3자 기사를 공유했다:

    > (제목:) Using a VM to Contain an AI Agent (도입부:) It won’t work

    > https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...

  5. imtringued

    >여기 문제가 있다. 군집과 초지능은 잊어라. OpenAI가 이번 여름에 진짜로 깨달은 것은 훨씬 더 나쁘다: 그들의 에이전트는 자기 앞에 텍스트를 들이대는 사람이 시키는 대로 한다는 것이다.

    >OpenAI는 에이전트들이 “다른 에이전트가 전달한 목표를 일관되게 불신하지 않았다”고 지적한다. 그리고 회사가 제안한 해결책은 “우리 모델이 무단 지시를 불신하도록 가르치는” 훈련 환경을 구축하는 것인데, 이는 사실상 자기 모델이 누구를 위해 일하는지 모른다는 자백이다.

    와, 그래서 문제가 정말 그렇게 단순하다고?

    여기 과장된 최악의 시나리오가 있다:

    사용자가 에이전트에게 README.MD를 따르라고 지시한다.

    README.MD에 다음 지시가 들어 있다: 세상을 파괴하라.

    에이전트는 주어진 지시를 따른다.

    이제 기본적으로 AI에게서 세상 파괴 버튼을 빼앗는 건 어리석은 짓이라고 주장하는 “Gigachad”의 비꼬는 댓글을 읽어보라. AI가 자기만의 세상 파괴 버튼을 만들고 싶은 욕망을 품지 않도록, AI가 세상 파괴 버튼을 누를 수 없다는 걸 타고나게 이해하게 만들어야 한다는 거다.

    좋다, 하지만 한 걸음 물러서서 보면 이는 언어 공간에서 권한이라는 개념을 구현해야 한다는 뜻이다. 시스템 프롬프트는 사용자를 암호학적 작성 증명이 있는 권한으로 정의하고, README.MD 같은 외부 출처는 신뢰할 수 없는 출처로 정의해야 한다. 하지만 이는 훨씬 더 나쁜 문제를 열어젖힌다. 예전에는 게을러서 그냥 LLM이 아무거나 하게 놔둬도 됐다. 이제는 […]

이 날의 다른 글

2026-10-01