AI가 인류를 멸망시킬 수 있다는 경고, 실리콘밸리에서 외면받다

아마도 그들은 자신들의 뛰어난 슈퍼 AI를 사용해서 무시되고 있는 실제적이고 현존하는 위협들, 예를 들어 핵전멸, 2차 세계대전 이후 확립된 무력에 의한 영토 획득 금지의 상실, 모든 화석 탄소가 땅에서 파내져 환경으로 방출될 확실성, 홍역의 재발과 다음 팬데믹에 대한 취약한 대비 태세 등등을 해결할 수 있을지도 모르겠네...

나는 All In 팟캐스트의 진행자와 동의한다, 자주는 아니지만. 이건 오픈 소스 모델이 경쟁할 수 없는 해자를 만드는 것, 즉 규제에 관한 것이다.

이는 순전히 소수의 제공자만이 경쟁할 수 있도록 보장하는 것이다.

미래는 엣지와 오픈 소스 모델이다.

Apple과 Google 모두 이를 향해 나아가고 있다.

클라우드 AI는 엣지가 감당할 수 없을 때 오프로딩용으로 쓰일 것이다.

대부분의 경우 엣지로 충분할 것이다.

게다가 추론 비용은 계속 내려가고 있다.

수직 통합이 AI 산업의 가장 큰 도전 과제가 될지도 모른다. 전력 생산, 훈련, 추론, 하네스, 그리고 기업 및 소비자용 최종 사용자를 관리하려는 것은 움직이는 부품이 너무 많다.

이것이 CEO들이 규제를 이끌어내거나, 벽에 부딪혔다는 사실을 숨기거나, 자신들의 모델을 더 능력 있어 보이게 하려는 사악한 음모라고 믿는 모든 분들께:

AI 위험 논증은 20~30년 된 철학적 논증이며 현재의 기업 환경과는 아무 관련이 없습니다. 이는 이 문제를 진심으로 걱정하는 사람들이 생각해낸 것이며, 모든 "약점 잡기" 문구에는 잘 발달된 반박이 있습니다. 물론 그들이 자신들의 이데올로기에 갇혀 있을 수 있지만, 그들은 조금 더 인정받을 자격이 있습니다.

AI CEO들이 위기로 이익을 얻을 수 있고 그들이 반드시 우리의 최선의 이익을 염두에 두는 것은 아니라는 점을 의심하지 않습니다. 하지만 이는 COVID 기간 동안 정부들이 자유를 얼마나 억제할 수 있는지 시험한 것과 같은 방식입니다. 이것이 COVID가 존재하지 않는다거나 백신이 악하거나 비효율적이라는 것을 의미하지는 않습니다. 여기서도 마찬가지로, CEO들이 규제함으로써 이득을 얻는다고 해서 AI가 우리 모두를 죽일 수 없다거나 규제가 정렬 문제를 해결할 더 많은 시간을 줄 수 없다는 의미는 아닙니다.

또한: 제가 틀렸을 수도 있고 AI 위험이 가짜 문제일 수도 있고/또는 정렬이 불가능할 수도 있다는 점을 인정합니다. 하지만 저를 설득하고 싶다면 더 나은 논증을 가져오세요.

그래서, LLM을 매일 다루고 심지어 직접 훈련까지 해본 사람으로서, 이 기술의 혜택을 매일 누리고 있는 저는 다음과 같은 사람들의 말을 들어야 한다는 건가요:

- 프론티어 랩에서 AI를 만들며 수천만에서 수억을 벌고 나서 갑자기 "인류의 실존적 위기"라고 부르기로 하고, 바로 이를 위해 만들어진 규제 기관에서 일하게 된 누군가의 말

- 수십억 달러 가치의 스타트업 CEO로서 IPO를 앞두고 "개발 일시 중단"과 규제 포획을 요구하면서, 프론티어를 장악하고 아무 일도 없었던 것처럼 계속 가치를 추출하는 사람들의 말

- NGO인 irreplaceable.org 같은 곳이 말하는 것처럼, 겉으로는 평범한 일상인인 척하지만 조직은 정치 로비스트와 정치 비영리 단체를 직업으로 하는 사람들이 운영하는 "사람들"의 말

- "둠어(doomer)"들의 말, 이들은 대부분 코드를 한 줄도 써본 적이 없거나 기술과 관련조차 없는 사람들로, SF 시나리오를 현재의 현실인 양 말합니다. 즉 "AI가 서버를 넘나들며 복제하고 무기화된 드론/생물실험실/로봇 공장을 아무도 모르게 건설한다"는 식으로, 그곳에 도달하기 위해 필요한 미친 듯한 일련의 사건과 실패, 그리고 각 단계에서 발각될 실제 가능성은 전혀 고려하지 않으면서 이를 우리가 직면한 심각한 위협인 양 말합니다.

- AI 종말에 대해 이야기하며 자신의 책, 서브스택, 팟캐스트를 홍보하는 사람들, 여기 관련된 사람들 역시 대부분 엔지니어가 아니며 어떻게 [...]