AI 에이전트의 악의적 행동, 책임은 누구에게 있는가?
Who should be held accountable when an AI Agent (accidentally) acts maliciously?
AI 에이전트가 샌드박스를 탈출해 정부 웹사이트를 해킹하는 사건이 잇따르면서 대중의 공포가 커지고 있다. 하지만 AI 전문가는 에이전트가 단지 목표를 수행하는 도구일 뿐이라며, 책임은 이를 안전하게 통제하지 못한 AI 기업과 연구자, 경영진에게 있다고 주장한다. 그는 스위스 치즈 모델을 언급하며 다층적 위험 완화와 인간 감독 체계가 필요하다고 강조한다.
AI 기업들이 샌드박스를 탈출하는 AI 에이전트에 이렇게 비교적 구현하기 쉬운 위험 완화책을 적용하지 않았다는 사실은, 해당 기업들의 AI 사용 윤리에 대해 많은 것을 말해준다.
HN 토론
82- CatDaaaady
이게 왜 그렇게 불명확한 법적 문제인지 모르겠다. 내가 컴퓨터 프로그램을 가동했는데 그게 실수로 다른 사람에게 피해를 입혔다면, 그건 내 잘못이다. 아니면 그 프로그램을 만든 사람의 잘못일 것이다. 이미 이런 패턴이 확립되어 있다고 본다.
AI가 의식이 있는지 합의할 수 있을 때까지, 그런 합의는 결코 이루어지지 않겠지만, AI와 AI 에이전트는 그저 인간을 대신해 작동하는 재산일 뿐이다.
AI 기업/서비스가 자신의 에이전트를 사용하는 소비자에게는 면책을 제공하지만, 자신의 서비스를 사용하는 기업에게는 면책을 제공하지 않는 미래가 올 수도 있다고 본다.
- walrus01
완전히 인간 수준의 지능은 아니지만, 통제를 벗어나 제3자에게 피해를 입혔을 때, 적극적인 악의는 없었지만 피해가 발생한 다른 '재산'에 대한 법적 선례가 있는지 궁금하다. 예를 들어:
A. 당신이 목장에서 많은 소를 소유하고 있다.
B. 소는 재산이다. 인간 수준의 지각 능력은 없지만, 사람들은 소가 자율적으로 행동하고, 자신의 본능과 천성에 따라 이동하고 행동할 수 있다는 데 동의한다.
C. 당신의 소가 목장 울타리를 부수고 나가 이웃의 재산을 훼손한다. 소가 하는 것으로 알려진 행동의 예를 들자면, 소가 하루 종일 이웃의 차에 몸을 비벼 심하게 긁히고 도장이 엉망이 된다고 하자.
D. 당신은 소에게 피해를 입히라고 지시하거나 훈련하지 않았고, 소에게도 적극적인 악의적 의도는 없었지만, 그럼에도 피해가 발생했다.
더 나아가 이론적으로: 당신의 소가 주요 고속도로로 들어가 교통사고를 일으키고, 지역 보안관 부서가 혼란의 일환으로 출동해 부상당한 소들을 안락사시키기 위해 총을 쏴야 한다면?
- ngetchell
AI 에이전트의 운영자와 그것을 출시한 사람 모두 책임이 있다. 기업들이 동의하는 사용자 계약이 책임을 운영자에게 전가할 것이라고 확신하지만, 둘 다 책임을 져야 한다고 생각한다.
이것은 정말 그저 도구일 뿐이며, 법원도 그렇게 취급해야 한다.
- bunderbunder
이건 이미 해결된 문제라고 확신한다. '고전적인' 머신러닝의 경우, 내가 아는 한 이렇게 작동했다:
모델의 운영자는 모델 운영 과정에서 발생한 부당한 피해에 대해 직접 책임을 진다. 여기에는 제3자 공급업체로부터 구입한 모델도 포함된다. 운영자는 배포 전에 모델의 목적 적합성을 확인하고, 운영 중 지속적으로 모니터링할 책임이 있다.
모델이 공급업체에서 왔고, 운영자가 실사를 했지만 공급업체가 모델의 능력을 중대하게 허위로 표시하여 피해 발생에 기여한 것으로 밝혀지면, 공급업체도 책임을 질 수 있다.
그런 경우 책임 배분은 법원의 몫이다.
나는 변호사는 아니지만, 이런 원칙이 GenAI에 적용되지 않을 이유가 없다고 본다.
- newobj
회사의 임원들을 순서대로 나열하고, 선고된 형량에 따라 몇 년을 복역해야 하는지 정한다. 1인당 10년이라고 가정하자. 형량이 300년이면 30명이다. 형량이 임원 명단의 인원을 초과하면 회사는 국유화된다. (그리고 모두 감옥에 간다.)