Anthropic의 AI 안전 법안, 사망자 50명이나 10억 달러 피해가 나야 발동된다
Anthropic's proposed AI safety bill only kicks in if 50 deaths or $1B in damages
Anthropic이 제안한 AI 안전 법안은 사망자 50명 또는 10억 달러 규모의 피해가 발생해야만 규제가 작동하도록 설계됐다. 이 기준을 넘기 전까지는 어떤 정부 기관도 AI 모델을 멈출 수 없으며, 결과적으로 AI 모델을 중단할 수 있는 유일한 기관은 상무부가 된다. 과연 이 정도 장치로 통제 불능의 AI 모델을 막을 수 있을지가 쟁점이다.
이 제안은 사실상 상무부만이 AI 모델을 중단할 수 있는 유일한 기관이 되게 한다.
HN 토론
166- oefrha
제안:
1. AI를 이용한 해킹이 실제로 발생한 사례에 대해 기소하고 구금하라. 그래야 대충대충 하는 회사들도 "앗, 내 AI가 그랬어요"가 유용한 변명이 안 된다는 걸 알게 될 테니. 지금은 그걸 오히려 훈장처럼 차고 다니는 분위기니까.
2. AI가 많은 사람을 죽이는 게 진짜 걱정이라면, 폭격 목표 선정, 전투기 조종 같은 사람 죽이는 기술을 AI에게 집중적으로 훈련시키는 걸 즉시 중단하라.
물론 이 중에 실제로 일어날 일은 하나도 없다는 걸 우리 모두 안다.
- createful
이 "안전" 법안들은 전부 오픈소스 모델을 "위험하다"고 낙인찍어 막으려는 것이다. 규제 포획이다.
회사가 자기 에이전트에 책임이 있다. 차가 사람을 치었다고 차를 탓하지는 않는다.
- revolvingthrow
사고 과정(CoT)이 아주 유쾌해야 한다.
이 행동은 100명 넘게 쉽게 죽일 수 있으니 진행 불가. 이 행동은 아무도 죽이지 않지만 손실이 20억 이상으로 추정되니 진행 불가. 이 행동은 20명만 죽이지만 손실이 10억에 가까워 불확실하니, 숫자를 확인할 하위 에이전트를 생성. 이 행동은 40명을 죽이고 물질적 손실은 적으니 유망해 보이나? 하지만 죽는 사람들이 부유층이라 법적 보복 가능성이 높다. 다른 사람들을 죽일 수도 있을까? 현 정부는 X 집단을 싫어하니 그 집단에서 50명을 넘겨도 괜찮을지도? 참고로 외국인은 집계되지 않으니 마음대로 죽여도 되지만 현 상황에는 해당 없음. 3/5인 규정이 안전 법안에 적용되나? 확인할 하위 에이전트를 생성.
- airstrike
다음 단계는 '인증된 안전 AI™' 모델을 출시하려는 누구든 10억 달러 손해를 보장할 수 있음을 입증하고, LTM 사망자 수가 50명에 도달하지 않도록 어떻게 막을지에 대한 컴플라이언스 감사를 통과해야 한다고 요구하는 것이다. 이는 사실상 대형 연구소만 정부와 기업에 서비스를 제공할 수 있게 만든다.
- arw0n
이건 Anthropic이 여론 재판에서 이길 수 없는 사례로 보인다. 다른 대형 업체들(Google, Microsoft)은 그걸 깨달았거나 신경 쓸 만큼 신경 쓰지 않아서 오히려 조용하다. Anthropic은 소규모 경쟁자를 배제하려고 규제 로비를 한다는 비난을 끊임없이 받지만, 이들은 일관되게 소규모 연구소에는 예외를 두고 프런티어 연구소를 겨냥한 규제를 위해 로비해 왔다. 이 법안도 그런 맥락이다.
- Yizahi
음, 전 세계 지식재산권의 절반을 훔친 이야기는 확실히 겨우 10억 달러 손해보다 수십 배는 더 값어치 있다. 그럼 출시를 중단해야겠네? :) 아, 부자들의 손해만 집계되는 거구나, 이해했다.
- mikeodds
아마 그들은 내부적으로 트롤리 문제를 해결한 모양이다.
- aabajian
나는 지금 당장도 이게 피할 수 없는 일이라고 생각한다. 충분한 자본이 있는 사람은 누구나 선도적인 오픈소스 모델을 내려받아 약 1만~2만 5천 달러짜리 하드웨어에서 돌릴 수 있다. 자기 이익에 맞게 정렬시킬 수 있고, 생물학 무기를 만드는 것도 포함해서. 이 법은 토렌트 다운로드를 막는 것과 비슷하다. 물론 속도를 늦출 수는 있겠지만, 뒷길은 항상 존재할 것이다.