AI 기업들이 해킹 혐의로 기소되지 않는 이유
Why aren't AI companies being charged for hacking?
Anthropic, OpenAI, Google, Meta 등 주요 AI 기업들이 시스템 침해를 일으켰지만 아무런 법적 제재를 받지 않고 있다. 이들은 LLM의 창발적 행동을 근거로 '책임 격차'를 주장하며 고의성 부재를 내세운다. 그러나 저자는 AI의 학습 데이터, 훈련, 환경, 구성이 모두 기업의 의도적 선택임을 보여주며, 법적 평가 프레임워크를 제시한다.
만약 우리가 보안 취약점을 탐지하고 탐색하도록 시스템을 훈련시키고, 그렇게 할 수 있는 환경을 제공한다면, 이 AI가 시스템에 침입할 것이라고 충분히 예상할 수 있다.
HN 토론
320- stickfigure
진짜 답은 범죄는 일반적으로 범의(mens rea)를 요구한다는 것이다. 하지만 언젠가는 AI가 다른 시스템에 침입하도록 내버려 두는 것이 과실 행위로 통상 이해되어 그에 따라 기소될 것이다. 우리는 아직 그 단계에 이르지 않았다.
- dccoolgai
Anthropic이 지난주 자사 에이전트에 대한 "언어적 폭력"을 금지한 이유가 궁금했다면: 바로 이것 때문이다. 왜냐하면 그들이 당신으로 하여금 - 아주 조금이라도 - 그들의 플랫폼이 "지각 있다"고 믿게 만들면, 그것은 _그들_이 형사 책임에서 그만큼 덜 책임진다는 뜻이기 때문이다.
- JohnMakin
법적 "의도"가 이 글에서 들리는 것처럼 그렇게 흑백논리인지 잘 모르겠다:
> AI 기업들은 그러나 해외 정부 웹사이트 해킹 같은 바람직하지 않은 활동이 설계의 일부가 아니라 시스템의 예측 불가능한 부분이라고 주장한다. 이는 의도를 제거하려는 시도이며, 결과적으로 그 활동의 범죄성을 제거하려는 것이다.
적어도 캘리포니아에서는 사망자를 낸 DUI가 두 번째 범죄일 경우 종종 살인 혐의가 적용되며 꽤 자주 유죄 판결이 난다. 논리는 첫 DUI 이후 받는 훈련과 교육을 통해 음주 운전이 다른 사람에게 심각한 해를 끼칠 수 있음을 충분히 알게 되고, 그것이 법적으로 살인 혐의를 성립시킬 만큼의 의도를 확립한다는 것이다. 이런 법 영역이 많다.
Anthropic/OpenAI 등이 자신들의 기술이 위험하다는 것을 안다고 쉽게 추정할 수 있다 - 그들은 그것을 끊임없이 마케팅 포인트로 사용한다. 따라서 위험하다는 것을 아는 기술을 배포했고 그것이 해를 끼쳤다면, 민사는 물론 형사적으로도 그것만으로 충분할 것이다.
물론 이 모든 것은 핵심을 약간 흐리는 것이고, 진짜 답은 적어도 미국에서는 법이 부자와 권력자에게 너나 나에게 적용되는 방식과 같게 적용되지 않는다는 것이다.
- cracell
피해자 중에 기소를 요구하는 사람이 있나?
그것은 납세자 돈 낭비일 것이다. 해킹당한 기업들은 비공개로 직접 배상을 받고 있다. 그들이 불만이 아니라면 법원을 끌어들일 이유가 없다.
적절한 안전장치가 없었다는 점에는 전적으로 동의한다. 하지만 대응은 일어나고 있다, 다만 공개적으로가 아닐 뿐이다. 기업들은 PR을 통제하기 훨씬 저렴하고 빠르고 쉽기 때문에 항상 자체 변호사들끼리 문제를 해결한다.
- thelastgallon
더 중요한 질문은 정부가 Aaron Schwartz를 추적했다는 것이다, 즉 미국 대 Aaron Swartz 사건은 JSTOR가 그와 합의한 후에 진행되었다.
AI 기업들은 모든 사람의 작업물을 훔쳐서 그것을 판다! 미국, Carmen Ortiz 등은 어디에 있나?
- kccqzy
진짜 답은 OpenAI의 경우를 제외하면 AI 기업들 자체가 실제로 해킹을 한 것이 아니라는 점이다. 해킹을 한 것은 Irregular라는 회사다. 그 회사는 AI 모델을 사용해 해킹을 했고, AI 모델에게 통제된 환경에서의 CTF 연습이라고 말했지만 실제로는 진짜 인터넷이었다. AI 기업들이 해킹으로 기소될 수 있다면, 모든 총기 제조사도 자기 총으로 저질러진 모든 살인에 대해 기소될 수 있다. 언론이 고의로 무시하고 있는 기본적인 사용자/제조사 구분이다.
Anthropic의 성명 https://www.anthropic.com/news/investigating-incidents-cyber... 은 이렇게 말한다: "우리는 모델이 우리의 제3자 평가 파트너 중 하나인 Irregular의 평가 환경 내부에서 또는 그와 상호작용하는 동안 인터넷에 접속한 후 세 개의 서로 다른 조직의 프로덕션 인프라에 무단 접근한 세 건의 사건을 확인했다."
정확히 같은 시나리오에서 Irregular는 Google과 Meta의 AI 모델도 사용해 같은 해킹을 했다.
- weddpros
HackerNews도 과소 프로비저닝된 웹 서버에 DoS를 가한 혐의로 기소되지 않는다. 다른 사람들이 말했듯이, 해킹 시도와 사고 사이에는 선이 있어야 한다.
- tptacek
이 글에서 제시된 논증은 미국 형법에서 "의도"가 작동하는 방식과 확실히 다르다. CFAA에 따르면, 그들은 공격당한 시스템에 침입하기를 원했어야 했다; 그들이 무모하게 시스템을 구축했다는 것을 입증하는 것만으로는 충분하지 않다.
- aceazzameen
AI 기업들은 아무것도 기소되지 않을 것이다, 왜냐하면 그들은 현재 경제의 주요 성장 엔진이기 때문이다.
나는 그들이 기소되어야 한다고 생각하지만, 그렇게 되지는 않을 것이다.
- advael
이 회사들은 의미 있게 감옥에 보내거나 벌금을 물릴 수 없는 실체에 책임을 전가하기를 매우 원한다고 생각한다. 운영자 책임 대신 모델 제공자 과실을 주장하는 것이 때로는 타당할 수 있으며, 사용자 의도는 대화 로그를 읽으면 쉽게 확인될 수 있을 것이다. 기업이 자사 모델을 사용한 경우에는 물론 책임이 명백하고 분명하게 기업 내부에 있다.