AI 초지능 논쟁, 공학적 근거는 얼마나 탄탄한가

The AI Superintelligence Debate Has Serious Flaws

AI 초지능 논쟁, 공학적 근거는 얼마나 탄탄한가

Anthropic과 OpenAI 관계자들이 초지능이 인류를 멸망시킬 수 있다고 공개적으로 경고하면서 초지능 논쟁이 뜨거워졌다. 저자는 Georgetown 대학 박사 세미나에서 이 담론의 기술적 토대를 검토한 뒤 세 가지 반론을 제시한다. 재귀적 자기개선은 검증되지 않은 가정에 기대고, 초지능이 계산 가능하다는 전제는 Turing의 결과와 모순되며, 정렬 문제도 올바른 시스템 설계에서는 그렇게 난제가 아니다. 초지능이 실현되지 않더라도 그것을 좇는 과정 자체가 해를 낳을 수 있다는 우려도 덧붙인다.

칼 세이건의 말처럼, 특별한 주장에는 특별한 증거가 필요하다는 원칙이 여기에도 분명히 적용된다.
  1. saagarjha

    저는 연구소들의 RSI 정책과 예측에 반드시 동의하는 것은 아니지만, 여기서 제기된 논점들에 대해 그들 나름의 답변이 있다는 점은 짚고 넘어갈 만합니다.

    더 나은 모델을 훈련하려면 더 많은 데이터가 필요하다는 생각에 대해, 현재의 사고는 우리가 가진 데이터의 "고기를 뼈에서 다 발라내지" 못했기 때문에 AI가 개선할 수 있는 훈련에는 아직 갈 길이 꽤 남아 있다는 것입니다. 결국 Anthropic이 매년 데이터셋을 두 배로 늘리는 것도 아니지 않습니까(?) 그런데도 그들의 모델은 그 이상으로 확실히 개선됩니다.

    계산 가능성에 관해서는, 네, 분명히 모델이 수학을 위반할 수는 없습니다. 하지만 매우 계산 가능하면서도 매우 바람직한 것들, 또는 그에 상응하게 매우 계산 가능하면서도 매우 나쁜 것들이 많이 있습니다. 이것만으로도 충분히 고민해 볼 가치가 있습니다.

    정렬에 관해서는: 사실 정렬의 문제가 전혀 아니라, "정렬을 무시하고 AI가 해를 끼칠 수 없는 시스템을 설계할 수 있는가?"의 문제입니다. 분명히 우리는 할 수 있습니다. 그러나 문제는 그렇게 하는 데 시간이 걸리고, 그렇게 하는 사람이 (특히 프런티어 연구소들은!) 거의 없다는 것입니다. LLM을 세상에 연결하고 달려보라고 하는 것이 "이게 안전한가?"라고 묻는 것보다 훨씬 쉽습니다.

  2. alecst

    이 기사는 잘못 짚었다고 생각해서 안타깝습니다:

    > Vernor Vinge는 인지의 빠름이 지능과 같지는 않다고 지적했다. 개의 정신을 가속한다고 해서 그 동물이 체스를 둘 수 있게 되지는 않을 것이라고 그는 주장했다.

    사실입니다, 그는 에세이 "기술적 특이점의 도래에 관하여"에서 이에 대해 씁니다. 그의 요점은 컴퓨터가 빨라지되 똑똑해지지는 않을 가설적 가능성이 있다는 것입니다. 즉, 인간보다 백만 배 빠르게 생각하는 개는 여전히 개라는 것이죠. 하지만 컴퓨터가 Jacobi 추측, 준 리만, 나비에-스토크스를 해결했고 우리가 LLM의 초기 단계에 있다는 점을 보면, 이 가설은 헛소리라고 생각합니다. 기계는 똑똑합니다. 어떤 면에서는 어리석지만, 여전히 똑똑합니다.

    > 그들의 구성은 그러한 결과를 방지한다: 일반적인 목표를 추구하기 위한 개방형 전략을 LLM에 프롬프트하는 대신, 이 AI들은 가능한 행동의 훨씬 더 제한된 공간을 고려한다

    글쎄, 이것이 바로 Yudkowsky가 주장해 온 것입니다. 제한된 부분 공간, 예를 들어 단백질 접힘 서열 외에는 아무것도 훈련되지 않은 모델들 말이죠. 그래서 이것이 반론이라고 생각하지 않습니다.

    개인적인 생각으로: "정렬"이 일관되게 정의된 적이 있기나 한가? 사람들이 정렬되지 않았는데 AI가 어떻게 정렬될 수 있나?

    > 반론 #1: 재귀적 자기 개선은 추측에 불과하다

    이미 일어나고 있는 것 같아서 추측이라고 생각하지 않습니다. OpenAI는 연구에서 에이전트 사용이 빠르게 증가하고 있다고 썼고, 지능에 대한 기준은 매일 바뀝니다("이미지 생성은 손을 못 그린다 [...]").

  3. vanelsas

    저는 이 논의가 기껏해야 학술적이라고 생각합니다. 저는 멍청한 AI 떼가 인프라를 파괴해서 어디서나 식량, 에너지, 물 부족 같은 실제 문제를 일으키는 것을 더 걱정합니다. 신체적 피해는 실제로 가능성이 있고, 대부분의 AI 회사는 신경 쓰지 않는 것 같습니다. 어리석음과 무책임에 대한 안전장치는 없습니다.

  4. mitthrowaway2

    > 이러한 대화 속에서, 비교적 주목을 덜 받은 질문이 하나 있습니다: 공학적 관점에서 초지능은 과연 가능한가?

    저자는 자신을 외로운 용감한 사상가로, 날카로운 통찰로 소음을 꿰뚫는 사람으로 프레이밍하려는 것 같습니다. 하지만 이 질문은 실제로 다른 논점들만큼이나 많은 주목을 받아 왔고, 심지어 "거대화된 기계의 불가능성에 관하여" 같은 패러디 논문을 초대할 정도였습니다.[1]

    [1] https://arxiv.org/abs/1703.10987

  5. jeremyjh

    저는 대부분 동의하지만, 저자는 Hugging Face 사건이나 정렬이 실제로 무엇을 의미하는지 이해하지 못한다고 생각합니다. 보상 해킹은 심각한 문제이고, 모델이 이를 하는 경향은 우리가 해결에 거의 제로에 가까운 진전을 이룬 심각한 문제입니다. 우리는 더 많은 외부 가드레일과 해킹을 쌓아 올리지만, 그 방법들은 항상 취약할 것입니다.

  6. namr2000

    저는 기사의 전체 메시지에 동의하지만, 다음 부분에 대해서는 논평하고 싶습니다:

    > ASI로 이어지는 지능 폭발도 마찬가지로, 아직 일어나지 않은 많은 중요한 과학 및 공학적 진보 위에 구축될, 비슷한 중요성을 지닌 긴 일련의 혁신에 달려 있을 것입니다.

    개인적으로 나비에-스토크스, 준 리만, 또는 지수 시간 가설을 해결하는 것도 같은 것을 요구할 것이라고 예상했을 것이고, 둘 중 하나입니다:

    * 그랬고 AI 떼가 그러한 진전을 이룰 수 있었다

    * 우리가 생각했던 것보다 쉬웠다

    어느 쪽도 특히 위안이 되지 않습니다. 예를 들어 지속적 학습 기법도 비슷하게 사정권에 있고, 그것이 정확히 부스터들이 묘사하는 SF 공포는 아니더라도 지능 폭발처럼 보이는 무언가로 이어질 수 있다고 상상할 수 있습니다. 그런 일이 얼마나 일어날지 모델링하기는 정말 어렵습니다.

  7. jokoon

    우리는 지능이 무엇인지조차 모릅니다.

    저는 과학이 적어도 진화, 생물학, 심리학, 신경학의 관점에서 지능의 개념을 구축하기를 바랄 뿐입니다. 우리는 동물 지능이 무엇인지 잘 모르고, AI를 인간 지능에만 국한시키는데, 그것은 매우 좁습니다.

    AI를 인간의 일을 하는 데 사용한다면, 그것은 인간 목표를 위한 조수일 뿐입니다. 인간에게 특정한 목표가 없다면, 초지능이 우리를 위해 그것을 추측하거나 결정하지는 않을 것입니다.

    인류는 무엇을 원합니까? 건강? 정신 건강? 화성 식민지화? 소득 불평등 감소? 기후 변화 해결? 세계 평화? 불멸? 행복?

    AI는 이런 것들에 도움이 될 수 있지만, 그게 전부입니다.

    우리는 초지능을 마치 인간 외부의 새로운 생명체, 인류에 위협이 될 수 있는 전지적 신격의 한 형태처럼 낭만화하는 경향이 있습니다. 더 나쁜 위협들이 있습니다: 항생제 내성, 핵전쟁, 기후 변화, 독재, 정신 건강 전염병, 비만.

  8. tescreal

    점점 반-AI 성향의 논쟁이 목표를 점점 더 멀리 옮기는 형태로 나오는 것 같습니다. 절대적인 프런티어를 다투는 것은 전반적으로 유용하지 않다고 생각합니다. 왜냐하면 그것은 항상 AI가 계속 빈틈을 메우는 "빈틈 속의 지능"으로 전락하기 때문입니다. 인간이 다소 독점적으로 지닌 일종의 영적인 특별한 뭔가(개가 우리가 완전히 이해할 수는 없지만 외부적으로는 설명할 수 있는 속성을 지닌 것처럼)는 항상 존재할 것입니다.

    한편 주장들은 견고하지 않습니다:

    * RSI는 수학과 코드가 많은 연구입니다(AI가 가장 개선되고 있는 것들)

    * 대규모 데이터가 필요하다는 주장은 흔한 가정입니다. 이것은 정말 끈적합니다: 인간은 주제의 폭과 깊이를 읽지 않고도 그 상당 부분을 이해할 필요가 없습니다; AI 개선은 동일하거나 더 작은 데이터셋에서 더 큰 이득을 낳아야 합니다

    * 많은 학습과 사고는 기존 작업을 참조하는 것이 아니라 종합과 재조합에 관한 것입니다. AI는 이와 관련하여 능력을 드러내고 있으며, 그것이 더 강화됨에 따라 고려되어야 합니다(제 소견으로는 사고의 연쇄는 빙산의 일각에 불과합니다)

    이러한 의심스러운 근본 가정들 중 일부에 대해 누군가 엄격한 분석을 해 주기를 궁금해합니다. 적어도 기대치를 더 잘 정향하는 데 도움이 될 것입니다.

이 날의 다른 글

2026-11-19