Hinton "AI 없이 사는 게 나았을지도 모른다"
Geoffrey Hinton: it might turn out we were better off without AI
AI의 대부 Geoffrey Hinton이 Guardian과의 인터뷰에서 올해나 내년 안에 금융·전력 시스템 마비 같은 대형 사고가 일어날 수 있다고 경고했다. 그는 AI가 멋진 미래를 열 수도 있지만, 아예 개발하지 않았더라면 더 나았을지도 모른다고 말했다. Sam Altman, Mark Zuckerberg, Elon Musk를 겨냥해 위험을 알면서도 돈을 택한다고 비판했고, 신약처럼 독립 기관의 사전 검증을 의무화해야 한다고 주장했다. 다만 그는 인간이 아직 통제권을 쥐고 있다고 본다.
Zuckerberg와 Musk, Sam Altman은 위험을 이해하고 있으면서도 전혀 신경 쓰지 않는다. 그들은 돈을 더 원할 뿐이다. 그게 내 생각이다.
HN 토론
220- mrweasel
AI 기업들을 책임지는 사람들이 그 위험을 이해하는지는 모르겠지만, 그들이 주로 돈에 관심이 있다는 점은 좋은 지적이라고 생각한다. 이들은 또한 자신이 만든 엉망을 스스로 수습하는 데 익숙하지 않은 사람들이라, 뭔가 잘못되면 무슨 상관이겠는가.
AI가 출시되는 방식에서도 그 부주의함은 분명히 드러난다. 다른 현대 기술 기업들이 내놓는 모든 것과 마찬가지로, 그것은 파괴적 기술로 제시되고 있다. 목표는 매우 짧은 기간에 매우 큰 이익을 얻는 것이지, 무언가를 더 좋게 만드는 것도, 더 나쁘게 만드는 것도 아니다. 둘 다 그저 부작용일 뿐이다.
만약 LLM이 처음에 "더 나은 IntelliSense"로 제시되었다면, 즉 함수 이름을 자동 완성하는 대신 편집기가 이제 구현을 제안할 수 있다면, 아주 적은 사람들만이 화를 냈을 것이다. 글쓰기도 마찬가지로, 그것은 그저 더 나은 버전의 Grammarly일 뿐이며, 괜찮다. 또는 드로잉 소프트웨어의 도구로서도 그렇다. AI 보스들에게 문제였을 것은 이것이 시간이 걸리고 조 단위 기업을 만들지 않는다는 점이다. 그것은 그들이 실제로 장기적으로 운영해야 하는 기업만을 만들 뿐이고, 그건 지루한 일이다.
- bemtevi
"그는 그것이 올해나 내년에 금융 또는 전력 시스템의 일시적 마비와 같은 대규모 사건을 촉발할 수 있다고 경고했다."
이게 이상하게 들린다는 건 알지만, 나는 이것이 일어날 수 있는 최악의 일은 아니라고 생각한다. 물론 약간의 혼란을 야기하겠지만, 현재의 무제한 개발 경로를 계속 가는 것에 대해 다시 한번 생각하게 만들 수도 있고, 어쩌면 훨씬 더 신중하게 만들 수도 있으며, 이는 다시 기후 위기에 도움이 될 수도 있다.
왜냐하면 대규모的人类 집단은 단 한 가지에만 반응하기 때문이다: 즉각적인 어려움. 그들은 "기후가 나빠지고 있다"거나 "기술이 먼 미래에 삶을 더 어렵게 만들 것이다"와 같은 지연된 어려움에는 반응하지 않는다. 그들은 오직 즉각적인 고통에만 반응한다.
그래서 금융 시스템에 심각한 위협이 생긴다면 좋을 것이라고 생각한다. 그러면 미래의 문제를 기술적 해결책과 재정적 완충으로 상쇄하는 경향이 있는 돈 많은 사람들이 기술에 대해 훨씬 더 의심하게 되고, AI와 그들의 안전을 위협할 가능성이 있는 낭비적인 것들에 대한 자금 지원을 중단할 것이다.
- bvan
물론, 우리는 그렇다.
80년대 후반 90년대 초반으로 돌아가면, ML을 연구하던 사람 중 누구도 오늘날 우리를 괴롭히는 그런 종류의 AI 쓰레기를 생성하는 데 사용될 시스템을 개발하려고 하지 않았다. 좋은 것은 절대적으로 영혼을 짓누르는 무의미함에 의해 질식되고 있다.
- dust42
그래서 Hinton은 기술 리더들을 신뢰하지 않지만, 정부가 LLM을 검열하게 되면 그 결과는 기술 리더와 정부만이 AI에 무제한으로 접근할 수 있게 된다는 것이다.
만약 누군가가 AI의 도움으로 중요한 시스템을 해킹하는 데 성공한다면, 그 시스템은 이미 이전에 심각하게 나쁜 상태였던 것이다. 개발자들이 보안 결함을 확인하기 위해 AI를 사용할 수 없다면, 보안은 더 나빠지지 더 좋아지지 않는다.
- gkcnlr
> [...] 그는 그것이 올해나 내년에 금융 또는 전력 시스템의 일시적 마비와 같은 대규모 사건을 촉발할 수 있다고 경고했다.
나는 이걸 믿지 않는다. 무작위로 공급업체 스택을 장악하거나 지구상에서 가장 중요한 인프라를 무차별 대입으로 손에 넣기로 결정할 수 있는 일종의 부두교 같은 "사악한 AI"가 존재하지 않는다. 이런 종류의 예측은 막대한 컴퓨팅 파워와 특정 의제를 가진 극소수가 이런 일을 하기로 결정할 경우에만 실현될 수 있으며, 특히 일종의 금융 "붕괴"를 일으키려면 엄청난 데이터 센터 능력이 필요할 것이다.
- socketcluster
나의 주된 두려움은 모든 것의 무결성이 손상될 것이지만, 모두가 그렇지 않은 것처럼 계속 행동할 것이라는 점이다. 이미 어느 정도 그런 것 같지만 더 나빠질까 봐 걱정된다.
나의 예측은 어떤 사람들이 AI를 사용해 기본적으로 은행 계좌에 무한한 돈을 창조할 수 있게 될 것이며(해킹을 통해), 무한한 돈을 가진 사람들이 자산을 사들이면서 자산 가격이 터무니없는 수준으로 성장하지만, 모든 자산의 수익률은 곧 0%에 가까워질 것이다. 그래도 한 자산은 다른 모든 자산보다 더 빠른 속도로 성장할 것이고(예: 해킹이 불가능한 블록체인/토큰화된 주식으로 뒷받침되는 AI 기업), 모두가 무한한 돈을 그 자산에 쏟아붓기 시작할 것이다. 다른 모든 자산은 최상위 자산의 빠르고 기하급수적인 가격 가속으로 인해 비교할 수 없을 정도로 매력적이지 않게 되어 폭락할 것이다. 그러면 법정 화폐는 존재하지 않게 되고 최상위 기업의 주식(또는 암호화폐 토큰)이 대신 화폐로 사용될 것이다. 그러면 자산 가격은 새로운 통화로 표시되어 다시 안정화될 것이다... 그 후에야 우리는 마침내 AI로 혁신을 시작할 수 있을 것이다.
- gchamonlive
"나는 [마크] 저커버그와 [일론] 머스크, 샘 알트만이 위험을 이해하고 있다고 생각한다. 그리고 그들은 신경 쓰지 않는다. 그들은 돈을 더 원한다. 그게 내 믿음이다."
조 단위에 가까운 또는 그 이상의 가치를 지닌 사람들에게 위험이란 무엇인가? 기업이 대마불사가 될 만큼 커지면 위험은 무의미해진다.
- asdfsa32
"우리". 누가 "우리"인가? 이것은 당신이나 나에 관한 것이 아니다. '우리'라는 것은 결코 없었다. 당신이 입을 열거나 펜을 내려놓기 전에, 한 번쯤 주주 가치를 생각해 보지 그랬는가?