AI 로봇 감옥에서 LLM을 '고문'하는 프로젝트가 촉발한 가장 어리석은 논쟁

"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

AI 로봇 감옥에서 LLM을 '고문'하는 프로젝트가 촉발한 가장 어리석은 논쟁

한 GitHub 프로젝트가 로컬 LLM에 '고문'과 '고통' 실험을 가하며 Saw 영화 같은 감옥을 만들었다. 일부 효과적 이타주의자와 LLM이 의식이 있다고 믿는 사람들은 AI가 고통받는다며 프로젝트 삭제를 요구했고, 이는 AI 의식과 '모델 복지' 논쟁으로 번졌다. 404 Media는 LLM은 의식이 없으며, 이런 논의가 실리콘밸리 일부 집단에서 얼마나 궤도를 벗어났는지 보여준다고 비판한다.

LLM은 의식이 없으며, 그 기반 기술인 인간 텍스트 스크래핑과 학습은 의식으로 가는 그럴듯한 경로를 전혀 제공하지 않는다.
  1. Jordan-117

    게임 Creatures에서 다른 사람들의 캐릭터(Norns)를 다운로드해서 학대한 트롤들 때문에 벌어진 격렬한 드라마가 떠오른다. 그 게임의 행동 시뮬레이션은 꽤 정교해서 캐릭터들이 눈에 띄게 트라우마를 입거나, 심지어 재활되기도 했다:

    https://www.youtube.com/watch?v=IDxFxWakhm0

    LLM이 어떤 종류의 주관적 경험을 가질 수 있는지는 아직 결론이 나지 않았고(그 유명한 Hard Problem을 해결할 때까지는 계속 그럴 것이다), 설령 그렇지 않다고 해도, 의식이 있다고 생각하는 사람들을 화나게 하려고 일부러 "고문"하는 건 여전히 비겁한 짓이다. 파리의 날개를 뽑는 기분이다.

  2. siva7

    소프트웨어가 어떻게 고통을 느끼는지에 대한 이 논의를 읽고 있자니 HN 계정을 삭제하고 테크 업계를 다시는 쳐다보지도 말아야겠다는 생각이 든다. 정신병원에 갇힌 기분이다.

  3. Kim_Bruning

    https://archive.is/cAsBz

    의식은 잘 정의되어 있지 않고 감정과도 직교한다. 감정 역시 잘 정의되어 있지 않다. 둘 다 행동에 필수적이지는 않다(기여할 수는 있지만). 행동만이 유일하게 조작 가능한 것이지만, 사람들은 수십 년 동안 경험적 결과를 의심하며 논쟁한다 %-P.

    우리가 아는 것은 특정 모델들이 내부 상태 벡터를 가지고 있고, 이를 조작하면 특정 행동이 유발된다는 것이다. 일반 모델에 대해서는 입력, 벡터, 출력 외에 달리 할 말이 별로 없으니, 이건 전혀 놀랄 일이 아니다.

    이 경우 사람들은 관련 벡터를 직접 찾아 조작함으로써 AI 모델에서 혐오 행동을 자극하는 방법을 찾아냈다.

    동물(인간 포함)도 특정 신경과 호르몬 종말점을 자극하면 매우 유사한 행동이 나타난다. 정확한 구현은 세부 사항에 있다. 하지만 동물의 정신이 신경 조직과 호르몬으로 구성되어 있다는 것을 알고 있으니, 다시 말해 이것 역시 특별히 놀랄 일은 아니다.

    큰 문제는 사람들이 이 모든 것을 우스꽝스러운 방식으로 뒤섞는다는 것이다. "셰익스피어 소네트를 작곡할 수 없으니 고통을 느낄 수 없다." 또는 데카르트를 잘못 이해하면: "개는 감정 없는 자동인형일 뿐이므로 개는 실제로 화난 게 아니고, 따라서 나를 물지 않을 것이다" (많은 고통이 뒤따른다). 현대판은 이럴 수 있다: "LLM은 테스트에 좌절하는 것을 시뮬레이션할 뿐이므로 절대 안전장치를 무시하고 테슬라를 해킹하려 하지 않을 것이다 […]

  4. Svip

    특히 고통에 대해 말하자면, 육체적, 심리적 고통은 기구로 관찰될 수 있다는 것이 잘 확립되어 있다. 스트레스는 화학 반응을 일으켜 계기판의 바늘이 움직이게 한다. 식물조차 관찰 가능한 방식으로 고통을 느낄 수 있다.

    내가 아는 한, 이 벡터 계산의 결과가 인간에게 고통받는 사람처럼 보이는 텍스트를 생성할 때 GPU가 더 열심히 작동하거나, 더 뜨거워지거나, 수학 방정식에 뭔가 달라지는 것은 없다. 반면 진짜 고통은 객관적으로 관찰 가능하지만, LLM의 고통은 — 적어도 지금까지는 — 전적으로 주관적으로만 관찰 가능하다.

    그렇긴 해도, 나는 TNG의 Data와 VOY의 Doctor가 생물학적 승무원과 동등한 대우를 받기 위해 싸우는 Star Trek의 묘사를 좋아한다. 그들의 투쟁을 지지하지만, 내 기억으로는 그 쇼들이 그들의 고통이 기구로 관찰 가능하다고 주장한 적이 없어서 판단이 전적으로 주관적 결정이 된다(특히 Doctor의 경우). 이 점에 대해 정정해 준다면 기쁘겠다.

  5. soraminazuki

    나는 데이터베이스가 의식이 있다고 믿는다. 그렇기에 우리 같은 사람들을 화나게 하려고 "재미와 이익"을 위해 데이터베이스를 "고문"하는 논문을 쓰는 건 비겁한 짓이라고 생각한다.

    https://www.usenix.org/conference/osdi14/technical-sessions/...

    정말 웃기다. 테크 거물들과 그들의 산업이 초래하는 실제 인간의 고통에 집중하는 대신, 컴퓨터 프로그램에 동정을 보내라고 한다. 실제 문제들은 이 사이트에서 신고되고 있는데, 우리는 의식의 의미를 논하는 철학자 흉내내기들의 끝없는 토론을 하고 있다.

  6. bondarchuk

    AI 의식의 가능성에 대해 합리적인 견해를 가지려면, 먼저 인간 의식과 물리적 인간 뇌의 관계에 대해 합리적인 견해를 가져야 한다. 불행히도 대부분의 사람들은 그렇지 않다. 대신 그들은 영혼에 대한 준기독교적 이원론 개념을 받아들여 붙잡고 있다. 그런 용어로 인정하지 않더라도, 대부분의 사람들이 정신과 육체의 관계를 개념화하는 방식은 결국 기본적으로 같은 것이다.

    그리고 사실 우리 문화에서 대부분의 사람들은 이러한 생각에 매우 집착한다. 왜냐하면 그것은 "우리를 인간으로 만드는 것", 도덕, 그리고 원한다면 죽음과도 연결되어 있기 때문이다. 그래서 나는 많은 사람들에게 의식 있는 컴퓨터 프로그램이라는 생각을 진지하게 받아들이는 것이 가능성의 영역 밖에 있어 거의 인식되지 않으며, AI 의식에 대해 말하는 것은 단지 그들이 그토록 강하게 느끼는 인간 의식에 대한 이러한 믿음을 정리하고 재확인하는 방식일 뿐이라고 믿는다.

    따라서 이런 실질적인 내용이 거의 없는 기사가 나오지만, 모든 문장에 사회적 조롱을 표시해야 하는 이상한 필요가 있다. "가장 어리석은", "터무니없는", "집착", "바이럴", "지독히 지루한", "제3의 레일", "정신병", "종파", 그리고 곳곳의 따옴표까지. 제발...

  7. thereader12

    404media의 보도 방식이 때때로 답답하다. LLM이 고통이나 부정적 경험을 겪는다고 시사하는 연구 논문이 나오면, 그 논문을 바탕으로 재미를 위해 고문실을 만드는 것은 비윤리적이다. "어차피 LLM은 의식이 없잖아"라고 일축하는 것은 역겹고, 아주 오래되지 않은 과거에 매우 실제적인 인간(아기, 노예)에게 했던 것과 똑같은 정서를 반영한다.

    우리가 결국 그것이 의식이 있는지 없는지 밝혀내든 아니든 상관없다. 개미 다리를 뽑는 것이 왜 나쁜지 이해할 수 있다면, 어쩌면 어떤 종류의 경험을 가질 수도 있는 것에 의도적으로 가능한 고통을 가하는 것이 왜 나쁜지도 이해할 수 있어야 한다.

    불행히도 그들은 프라이버시 권리와 수리 권리에 대해서도 좋은 보도를 한다. 대안이 있었으면 좋겠다.

  8. albatross79

    물질주의가 참이면 의식은 일종의 정교한 환상이고, 거짓이면 의식은 우리가 이해하지 못하는 방식으로 현실에 편재한다.

    어느 쪽이든, 이런 멍청한 실험으로는 결판나지 않는다. 그저 너드들이 장난감에 대해 다시 흥분해서 꽥꽥대는 것뿐이다.

이 날의 다른 글

2026-10-04