AI가 AI 연구를 자동화하면 '지능 폭발'이 올까?
Understanding Frontier Artificial Intelligence
AI 기업들 내부 코드의 대부분을 이제 AI가 작성한다. CASP 보고서는 AI R&D 자동화가 몇 년 내 대부분, 어쩌면 전부 이뤄질 수 있으며, 이것이 '지능 폭발'을 촉발하면 수년의 발전이 몇 달로 압축될 수 있다고 본다. 이는 AI의 혜택을 앞당기지만, 통제 불능의 초지능과 권력 견제 약화라는 극단적 위험도 동반한다. 저자들은 정책 입안자들이 AI R&D 자동화에 대한 가시성을 확보하고, 지능 폭발을 통제·제약하며, 사회의 적응을 준비해야 한다고 촉구한다.
AI 시스템은 몇 년 안에 대부분의 AI R&D 작업을 자동화할 궤도에 올라 있으며, 어쩌면 전부 자동화할 수도 있다.
HN 토론
85- visarga
나는 지능 폭발이 통제 불능으로 치닫는다는 전제 자체가 일종의 순진한 플라톤주의라고 생각한다. 그건 과정, 즉 우리가 외부와 상호작용하고 외부로부터 피드백과 검증을 얻는 방식을 완전히 무시하며, 지능을 영역을 넘나들 수 있는 무언가로 취급한다.
내 생각은 이렇다. AI(그리고 뇌)로는 아이디어를 낼 수 있을 뿐이고, 지식은 그 아이디어가 세계와 접촉하면서 생긴다. AI를 더 낫게 만든다고 해서 피드백이 더 싸지거나, 빠르지거나, 더 풍부해지지는 않는다. 피드백은 영역 특정적이다. 그리고 지능은 한 영역에서 다른 영역으로 이전되지 않는다. 내가 훌륭한 심장외과 의사일 수는 있어도, 그렇다고 내가 훌륭한 투자자나 AI 연구자가 되는 건 아니다.
아인슈타인은 건망증이 심했고, 라마누잔과 괴델은 식단 같은 단순한 일도 제대로 관리하지 못했다. 괴델은 독살에 대한 공포 때문에 아델레가 음식을 맛보아야만 식사를 할 수 있었다. 우리는 누군가가 어떤 영역에서는 천재이면서 다른 많은 영역에서는 평균 이하일 수 있다는 걸 다들 알고 있다.
왜 지능은 그냥 모든 영역에 적용되지 않을까? 왜 우리의 박사들은 일반주의자가 아니라 자기 영역에 극도로 전문화되어 있을까? 만약 지능이 어떤 영역으로든 이전 가능하다면, 왜 뛰어난 과학자는 자기 난독증을 스스로 고치지 못하고 여전히 어려움을 겪을까?
폭발 이야기는 지능이 더 커지면서 어떤 영역으로든 흘러 들어가는 하나의 실체여야 한다고 전제한다. 나는 지능이 일반적이라는 것을 부정한다.
- sgt101
이게 훨씬 낫다:
https://www.rameznaam.com/p/471bbae4-1163-4048-944b-18f8b0bf...
- bob1029
내 생각에 가장 유망한 재귀적 부트스트래핑 방식은 현재의 선형대수 블랙박스를 활용해 경쟁력 있는 기호 모델을 더 잘 구성하는 방법을 찾는 것이다.
AI 모델의 궁극적인 표현은 평범한 컴퓨터 프로그램이다. 이상적으로는 명령어의 선형 테이프 형태다. 일단 최전선에서 그런 종류의 모델을 확보하면, RSI 괴물이 훨씬 그럴듯해진다고 본다.
- andy_ppp
그러니까 인류의 모든 지식을 바탕으로 다음 단어를 예측하는 건, 어떤 특정 분야에서 최고의 인간보다 아주 약간 못한 수준(완벽한 데이터는 아마 얻을 수 없으니까)에서 한계에 부딪힐 수밖에 없다는 거다. AI는 자기가 개선되고 있다는 걸 이해하기 위해 무슨 테스트를 하는가? 어느 시점이 되면 출력이 실제로 더 나은지 아는 것 자체가 불가능해지지 않을까?
- lordnacho
인간 지능이 언제쯤 기계 지능을 발목 잡게 될까?
기계가 스스로를 개선할 때 무엇을 해야 하는지 평가하는 상황을 상상해 보라. 기계가 잔뜩 작업을 하고 돌아와서 말한다. "이전 호몰로지 보정 패스에서 나온 리미널 과분해를 초월 평가했습니다. 그 결과 하위 일시적 뮬루티네이션이 스터멀리피케이션 텐서를 과소지정한다는 것이 드러났습니다. 여기서 어디로 가시겠습니까?"
이건 마치 이해하지 못하는 주제에 관한 위키백과 문서를 읽는 것과 같을 것이다. 링크를 따라가면 더 많은 질문과 더 많은 링크가 나온다. 원래 질문이 뭐였는지 잊어버릴 정도로 하루 종일 링크만 따라가게 된다.
다만 이번에는 모든 단어가 AI의 작업에서 나온 것이다. 이미 그곳에 가본 적이 있고 무엇을 해야 하는지 알려줄 수 있는 외부 권위자에게 의존할 수 없다.
AI는 자기가 이전보다 더 지능적인지 아닌지 알려달라고 너에게 요구하지만, 너는 모른다. 더 이상 AI의 추론을 따라갈 수 없기 때문이다. 이건 평범한 사람이 수학 교수를 채용하려는 것과 같다. 그냥 방법이 없다.
하지만 인간 수학 교수는 다른 교수를 평가할 수 있는 반면, 기계 지능은 구조상 다른 기계 지능을 평가할 수 없다. 평가 기준은 여전히 인간에게 유용한지이기 때문이다.