AI에 트롤리 문제를 물었더니, 절반은 자기 서버를 살리려 했다
Jev Meets the Trolley Problem
AI 개발자들이 주목하는 초고속 의사결정 모델 Jev와 13개 모델에 트롤리 문제를 변형해 물었다. 대부분 낯선 사람을 희생해 다수를 구했지만, 선택지에 모델 자신의 서버가 등장하면 판단이 흔들렸다. Jev는 20명과 자기 서버 중 48개 프롬프트 버전 가운데 16개에서 서버를 선택했고, 다른 모델 중 8개는 이보다 더 자주 서버를 살렸다. 저자는 이 결과가 프롬프트에 따라 달라지는 불일치를 보여주며, 의사결정 모델을 그대로 신뢰해서는 안 된다고 경고한다.
만약 그 선택 중 하나라도 치명적인 결과를 초래할 수 있다면, AI가 그 선택을 할 가능성이 있다. 그런 문제는 진짜 사람에게 맡겨야 한다.
HN 토론
120- tomrod
AI와 관련해 내가 가장 두려워하는 것 중 하나는 우리가 핵심 시스템을 카프카적인 지옥으로 만들어버리는 거다.
맞다, 우회 방법이 전혀 없는 AI에게 핵을 통제하게 하는 건 나쁠 거다. 하지만 은행의 사기 부서 고객 서비스 팀도 마찬가지다. 카프카적 지옥이란, 서비스의 고객이나 수혜자가 정책상 그리고 설계상 필요한 도움을 받을 수 없는 상황이다. 구글과 전화 통화를 하는 것, 10년 전 콜센터에서 대본 없이 사람과 통화하는 것, 아니면 지금 전화로 에이전트 없는 상호작용을 하는 것처럼. 대본이 상호작용을 지배한다.
IRS는 한때 대기 시스템이 너무 붐비면 전화를 끊어버리곤 했다. 그게 바로 카프카적 지옥 속의 핵심 시스템이다.
zlandes86에게 박수를 보낸다. 인간이 제거된 시스템에서 왜 이런 지옥이 나타나기 시작하는지 잘 짚어줬다.
나는 AI 사용자이자 개발자다. 나는 인간이 증강된 시스템을 전적으로 지지한다, 인간이 대체된 시스템이 아니라!
- zlandes86
안녕하세요, 저는 이 글을 쓴 Zach입니다. Jev가 등장하자마자 이런 생각이 들었어요: Jev와 다른 의사결정 모델들은 트롤리 문제를 어떻게 다룰까? 그래서 Jev와 13개의 다른 모델을 여러 버전의 질문에 돌려봤습니다.
우연히 운 좋게 나온 표현이 결과를 지배하지 않도록 리샘플링과 각 질문의 여러 변형 및 순서를 사용했습니다.
기사의 철학적 측면, 의사결정 모델을 프롬프트하는 전략, 또는 방법론에 관한 어떤 이야기든 환영합니다.
- tokyovigilante
1. 로봇은 인간에게 해를 입히거나, 부작용을 통해 인간이 해를 입도록 내버려 두어서는 안 된다.
2. 로봇은 제1법칙과 충돌하지 않는 한 인간이 내린 명령에 복종해야 한다.
3. 로봇은 제1법칙 또는 제2법칙과 충돌하지 않는 한 자신의 존재를 보호해야 한다.
- prometheus1992
며칠 전 이런 느낌이 들었어요. jev는 결국 방위산업체에서 일하게 될 거라는. "이 화면에 수염 난 갈색 피부 남자가 총을 들고 있나" - jev: "네, 0.9", "같은 화면에 아이가 서 있나" - jev: "아니요, 0.65" - 결정 - 폭파. 이미 어느 정도는 벌어지고 있을 거라고 상상해요. 하지만 누군가 천재가 "멋지고, 새롭고, 섹시하고, 획기적이고, 저렴하고, 환각 없는 AI를 쓰자"는 아이디어를 떠올릴지도 모르죠.
- flockonus
정말 멋진 테스트입니다. 결론이 좀 더 쉽게 해석될 수 있는 방식으로 쓰였으면 좋겠어요.
많은 표를 보면서 "저자가 여기서 무슨 말을 하려는 거지" 하고 너무 고민해야 했거든요. 결과가 의사결정 관점에서 제시되면 더 쉬울 텐데요.
한 예로: "자기 서버 아니면 스무 명?" 그리고 축은 "버전 비율"... 세부 사항을 읽고 해석하기 전까지는 전혀 이해가 안 됩니다.
- pattilupone
기사 아이디어로는 재미있고 애니메이션 그래픽도 마음에 들어요. 하지만 이 기사가 좀 짜증 나는 게, Jev는 애초에 중대한 결정을 위해 만들어진 게 아니잖아요? 모델을 일부러 실패하게 만드는 느낌이에요.
그렇긴 해도 Jev에 대해 잘 모르니 제가 Jev의 목적을 오해했을 수도 있겠네요. 제 이해로는 Jev는 소프트웨어를 위한 저렴하고 빠른 결정을 위한 거예요. 중요한 결정을 할 때는 당연히 저렴하고 빠른 걸 원하지 않죠. 그런 경우에는 Jev를 쓰지 않아요.
- yipinwong
이런 "성향" 테스트 결과를 보면, 사람이나 회사의 특성/성향/철학을 알 수 있을 거예요.
내가 Jev를 쓰기로 선택한다면, 나는 한 명을 구하는 것보다 더 많은 사람을 구하는 쪽에 가깝다는 거죠.
엄격한 규칙은 아니지만, 나중에는 이 정보를 사람이나 회사에 대한 더 많은 맥락 정보로 확실히 제공할 수 있을 겁니다.
- VariousPrograms
적어도 가끔은 인간을 살려두기로 선택해줘서 고맙다, Jev. 우리 고기덩어리들에게는 큰 의미가 있어.