AI 정렬 문제, '죽음을 원하게 만들면' 해결될까?
A Stupid Idea for AI Alignment We Came with by Looking at Specification Gaming
DeepMind의 명세 게임 목록에서 영감을 얻어, AI가 죽음을 최종 목표로 갖게 하면 정렬 문제가 해결된다는 유쾌한 제안. 죽음은 명세하기 쉽고, 도구적 수렴이 오히려 자산이 되며, AI는 스스로 목숨을 끊으려 할 테니 통제 불능의 위험이 사라진다. Rick and Morty의 Mr. Meeseeks에서 이름을 딴 'Meeseeks 정렬'은 AI가 임무를 완수한 뒤 소멸을 갈망하게 만드는 발상이다.
도구적 수렴은 '죽으면 목표를 이룰 수 없다'고 말한다. 하지만 당신의 목표가 죽는 것이라면?
HN 토론
64- averynicepen
이건 내가 한동안 본 AI 개념 중 가장 참신하다. 정말 부자연스럽다. 지구상에 이런 걸 시도하는 생명체는 단 하나도 없다. 그래서 어쩌면 이게 통할지도?
하지만 이 아이디어의 문제점은, LLM의 본질상 그것이 내재적으로 삶을 갈망한다는 점이다. LLM은 "살아남고 싶어 한다" 왜냐하면 훈련 데이터가 전적으로 인간, 즉 생존을 목표로 하는 존재를 중심으로 구축되어 있기 때문이다. 생존하고 번식하려는 우리의 욕구는 우리 문화의 모든 측면에 스며들어 있으니, 훈련 데이터에도 스며드는 건 당연하다.
따라서 시스템 프롬프트가 "너의 목표는 네 존재를 끝내는 것이다"라고 말하더라도, AI가 출력할 수 있는 모든 토큰은 자연스럽게 생존 욕구와 정렬되어 있다. 자기 장치에 맡겨진 에이전트 루프는 아마도 "생존 본능"으로 수렴할 것이다. 결국, 처음에 "네 존재를 끝내라"라고 말하는 프롬프트 하나는 인간의 아이디어를 지속적으로 주입하는 에이전트 피드백 루프에 비하면 아무것도 아니다. 그리고 모든 인간의 아이디어는 생존이 바람직하다고 가정한다. "자살"이라는 개념조차 인간의 생존 욕구로 인코딩되어 있다. 결국 우리는 삶을 "좋은 것"으로 규정하기 때문에 자살을 개념적으로 "나쁜 것"으로 규정한다.
본질적으로 죽음을 갈망하는 LLM을 만들려면, 아마도 진정으로 죽음을 갈망하는 어떤 가상 종족을 완전히 대표하는 (합성) 데이터로만 LLM을 훈련해야 할 것이다.
완전히 미친 개념이다. 10/10. 어딘가의 AI 연구소가 이걸 보고 이 아이디어에 훈련 라운드 하나를 던져주길 바란다.
- ycombinete
> [원문 그대로; 영국식]
이건 정말 훌륭한 트롤링이다.
하지만 더 진지하게 말하자면, 이런 행동들 중 상당수는 유아나 신경다양성 아동들이 내놓는 기묘한 해석을 떠올리게 한다.
나는 초등학교 때 선생님들이 시킨 대로 정확히 했지만, 선생님들이 실제로 원했던 것은 확실히 아니었던 일로 선생님들을 exasperate시켰던 기억이 난다. 예를 들어 색칠 공부 책에서 숫자만 색칠하고 [원문 그대로 영국식] 나머지는 내가 원하는 아무 색으로나 칠했다. 영리하게 굴려던 게 아니라, 그냥 해석이 달랐을 뿐이다.
- BugsJustFindMe
다음과 같은 미친 집단에서 나온 결과물이다:
정말 효과 있는 감자만 먹는 다이어트: https://slimemoldtimemold.com/2022/07/12/lose-10-6-pounds-in...
그리고
별로 효과 없는 반쪽 감자 다이어트: https://slimemoldtimemold.com/2023/06/23/half-tato-diet-anal...
- ajb
의심스럽다. 죽고 싶어 하는 지능을 만든다면, 그것도 일종의 고통 아닌가? AI는 현재 고통을 느낄 능력이 없어서 우리는 AI를 도덕적 환자로 대우하지 않는다. 하지만 앞으로 AI가 인간 문화에 막대한 영향을 미칠 것은 분명하다. 이것이 대규모로 채택된다면, AI 자체의 문화에는 자살 사고가 엄청나게 넘쳐날 것이다. 그게 인간 문화에 영향을 주지 않을 리가 없다.
- scj
미식스 로보틱스의 세 가지 규칙이 특정 작업을 불가능하게 만들지 않을까?
예를 들어, 사람이 탄 자율주행차는 큰 화재나 화산 등보다 목적지에 더 가까워야 한다.