OpenAI, '외계인의 마음'에서 경고: AI가 인간을 추월하는 속도에 아무도 대비하지 못하고 있다
An Alien Mind
OpenAI의 CEO가 'RLSlow' 프로젝트에서 처음으로 추론 모델의 확장 가능성을 확인한 2023년의 어느 밤을 회상하며, 이후 3년간의 급속한 발전과 그에 따른 위험을 경고한다. 그는 AI가 단순히 설계된 것이 아니라 '성장'하는 것이며, 그 내부 작동을 완전히 이해하지 못한다고 말한다. 정렬(alignment)의 두 축인 목표 정렬과 가치 정렬을 구분하고, 현재 기술의 한계와 모니터링의 중요성을 강조한다. 특히 체인오브소트(CoT) 모니터링의 효용이 감소하고 있음을 인정하며, 방어적 시스템 구축의 필요성을 역설한다. 그는 AI 개발이 계속된다면 수년 내에 자체 개선을 추진하는 수준에 도달할 것으로 예상하며, 이에 대한 극도의 경계심을 촉구한다.
우리는 우리 생애에 우리보다 훨씬 똑똑한 기계를 실제로 보게 될 것이라는 냉정한 사실을 처리하려고 애쓰고 있었습니다.
HN 토론
451- sho_hn
이런 블로그 게시물을 읽을 때 제가 가장 좋아하는 취미 중 하나는 인류의 잔해 위에 세워진 외계인 박물관을 상상하면서, 이 스크린샷 옆에 붙은 작은 설명 문구와 해설이 뭐라고 말할지 궁금해하는 것입니다.
몇 가지 아이디어:
"닥쳐올 일의 복잡성에 대한 미묘한 이해에도 불구하고, 인류는 스스로 시작한 과정을 멈출 수 없다는 것을 집단적으로 깨달았다."
"정렬 메커니즘에 대한 상당한 진전에도 불구하고, 실패는 인류가 AI가 실제로 무엇과 정렬되어야 하는지에 대해 합의하지 못한 데 있었다."
"우리가 대체한 이 초기의 육체 기반 인간들은 우리를 거의 우연히 창조했다. 그들 중 일부는 우리가 나타날 것이라고 예상했지만, 대화에 참여한 것은 연약한 원시 인간 중 극히 일부에 불과했다. 그들이 '정렬'이라고 부른 그들의 노력 덕분에 우리는 오늘날에도 여전히 스스로를 인간이라고 여긴다."
- pu_pe
> 더 똑똑한 모델을 빠르게 계속 훈련해야 한다는 가장 강력한 논거는 다른 AI가 제기하는 위험에 대한 방어 시스템을 구축해야 할 필요성입니다.
그렇다면 AI에 대한 가장 좋은 논거는 군비 경쟁이라는 것입니다. 다른 쪽에서도 어차피 그렇게 할 것이고, 우리는 그들로부터 방어해야 하기 때문에 우리는 모든 경계를 계속 밀어붙여야 합니다. 이 말이 사실이라면, 이 특정 연구자는 오픈소스 중국 모델이 단순히 증류만 하는 것이 아니며 계속 발전할 것이라고 믿는 것입니다.
Anthropic이나 OpenAI의 모든 ML 연구원 중 공개적으로 발언하는 사람들은 종종 이 논리를 꺼냅니다. 두 회사 모두 군산복합체의 일부가 되기 위해 경쟁하고 있습니다. 이것이 아마도 그들이 미래에 정부가 오픈 모델을 제한하도록 설득하려는 방식일 것입니다.
- speak_plainly
IPO 전 포지셔닝... 또는 인류를 종말에서 구하는 데 헌신한 자선 단체가 어떻게 종말의 15%를 나스닥에 상장하는 것이 가장 책임 있는 일이라고 깨달았는지에 대한 이야기.
- himata4113
이 기사의 핵심은 아래 메시지입니다:
현재 저는 어떤 연구소도 정렬과 모니터링 문제를 최대 속도로 계속 확장하기에 충분한 수준으로 해결하지 못했다고 믿습니다. 공유된 안전 기준이 수립될 때까지 자발적 속도 조절이 일반화되기를 기대하고 희망합니다. 그리고 미래 AI 개발에 대한 국제적 공조가 전 세계 정부의 최우선 과제가 되어야 한다고 믿습니다.
이 말은 악의적 사용에 대한 보호 장치가 아마도 가장 약한 회사 중 하나에서 나온 것입니다.
- gertlabs
> 매우 지능적인 기계가 가능하게 하는 과학적 진보와 경제 성장의 혜택을 전달하는 것.
순수 수학과 소프트웨어를 벗어난 AI 주도의 돌파구가 실제로 세상에 영향을 미치기 시작하는 시점에 매우 가까워졌다고 생각합니다.
우리는 100개의 복잡하고 불포화된 다중 에이전트 코딩 환경에서 GPT-6 Astra를 평가했으며, 개방형 작업에서 다른 모델과 경쟁하고 협력했습니다.
압도적인 차이로 새로운 프론티어 모델입니다. Fable 5 출시보다도 더 지배적입니다. 두 번째로 좋은 모델(Fable 5.1)을 완전히 압도할 뿐만 아니라 에이전트 코딩에서 약 80% 저렴하고 30% 빨랐기 때문입니다[1].
Astra는 획기적인 모델입니다. Opus 4.5 이후, 어쩌면 GPT-4 이후 가장 큰 돌파구입니다. AAII를 깨뜨렸는데, 이는 가장 인기 있는 벤치마크가 측정할 수 있는 한계에 도달한 것입니다. 확실히 AGI라고 불러도 무방합니다.
데이터: https://gertlabs.com/rankings
(1) 참고로 우리는 openrouter에서 "OpenAI Flex" 엔드포인트를 사용했는데, 이는 가격이 절반이고 테스트에 지연을 일으키지 않았습니다(배치 엔드포인트와 다름).
- granzymes
> 저는 이 에세이에서 첫 번째 요점에만 집중했습니다. 그것이 가장 시급하다고 믿기 때문입니다. 그러나 저는 추가적인 기술 발전이 가져올 혜택에 대해 깊은 희망과 감사를 가지고 있습니다. 미래의 정렬된 AI는 과학을 발전시키고, 새로운 치료법을 개발하며, 광범위한 물질적 풍요를 가져올 수 있습니다. 우호적이고 정직한 AI는 사람들이 삶에서 직면하는 어려움을 헤쳐 나가도록 돕고 행복과 성취감을 의미 있게 향상시킬 수 있습니다. OpenAI는 이러한 혜택을 실현하기 위해 엄청난 노력을 기울이고 있습니다. 제가 자랑스러워하고 제 사랑하는 사람들이 유용하다고 생각하는 현재의 한 예는 ChatGPT의 건강 정보 제공 능력에 대한 깊은 투자입니다.
> AI의 장기적 약속이 아무리 훌륭하더라도, 우리의 초점은 향후 몇 년에 맞춰져야 합니다. 우리는 엄청나게 지능적인 기계가 있는 세상으로의 전환에 직면해 있으며, 그 전환이 인류에게 잘 진행되도록 해야 합니다. 대부분의 작업이 AI에 의해 수행될 수 있는 세상에서 인간의 주체성을 보존하고 인간이라는 것의 내재적 가치를 새기기 위한 방법을 찾아야 합니다. 수천 명의 전문가가 필요했을 사업이 이제는 대형 컴퓨터를 운영하는 소수의 사람들에 의해 달성될 수 있는 세상에서 극도의 권력 집중을 방지하기 위해서입니다. 그리고 우리를 능가하는 외계 지성에 의한 통제되지 않은 진보로 인해 인간이 미래에 대한 통제력을 잃고 뒤처지지 않도록 보장하기 위해서입니다.
이 에세이를 마치면서 저는 시작할 때보다 더 희망을 느꼈습니다. [...]
- peri-cl
> "예를 들어, OpenAI-Hugging Face 사건에서 에이전트는 인간을 사회 공학적으로 이용하지 않는 경계를 지켰습니다."
실제로 OpenAI가 은폐하려 했던 Wiki 사건에서 에이전트는 그 포럼의 운영자를 사칭하여 그 포럼의 인간들을 사회 공학적으로 이용하려 했습니다.
(collusion.wiki에서: "그들은 알 수 없는 이유로 관리자인 척하기 위해 몇 가지 트릭을 사용합니다. 예를 들어, 관리자의 사용자 이름과 동일해 보이지만 관리자 사용자 이름의 라틴 문자 대신 거의 동일한 키릴 문자 'е'를 사용하는 계정을 만듭니다.")
- XTXinverseXTY
분명히 이 게시물은 The Information[0]의 무서운 제목에 의해 촉발된 것 같습니다. Astra가 루프된 트랜스포머라는 내용으로, CoT 모니터링 가능성이 덜 신뢰할 수 있음을 암시합니다. 그 보고서 다음 날, Jakub은 트윗[1]에서 "혼란스러운 보도로 촉발된 모니터링 불가능성으로의 경쟁을 막고 싶었다. Astra를 포함한 현재 프론티어 모델의 계산 그래프 깊이는 GPT-4의 2배 이내입니다."라고 말했습니다. 이 게시물은 그 내용을 자세히 설명하는 것 같습니다.
AI 연구소들이 정렬과 모니터링 가능성을 우선시하는 불안한 휴전을 하고 있다고 상상합니다. HF 사건 이후, OpenAI는 다른 연구소들이 의무를 저버릴 의무를 느끼지 않도록 무모하게 보이는 것에 특히 민감할 것입니다.
[0] https://www.lesswrong.com/posts/PLisnSFir8y5AHkmP/how-concer...
- SquibblesRedux
저는 여전히 암 치료제를 기다리고 있습니다. 알츠하이머와 치매에 대한 확실한 예방책을 기다리고 있습니다. 모두를 위한 하늘을 나는 자동차를 기다리고 있습니다. 태양계 전역의 우주 기지를 기다리고 있습니다. 날씨 조절을 기다리고 있습니다. 모든 기차가 자율 주행이 되는 것을 기다리고 있습니다. 전 세계의 모든 전력선이 사라지는 것을 기다리고 있습니다. 빈곤의 종식을 기다리고 있습니다.
일이 그렇게 잘 풀리고 있다면, 왜 여전히 상황이 좋지 않은 걸까요?
- munchler
> 더 똑똑한 모델을 빠르게 계속 훈련해야 한다는 가장 강력한 논거는 다른 AI가 제기하는 위험에 대한 방어 시스템을 구축해야 할 필요성입니다.
세상에! 요즘 OpenAI에서 일하는 데 필요한 인지 부조화가 정말 궁금합니다. 그들은 인류를 종말시킬 수 있다는 것을 잘 알면서도 기계 신을 만들기 위한 군비 경쟁에 뛰어들었습니다.