LeCun, AI로 인류 멸망? "전혀 걱정 없다"
LeCun has "zero concerns" about AI wiping out humanity, recent "rogue" incidents
2018년 튜링상을 받은 AI의 '대부' Yann LeCun이 AI가 인류를 멸망시킬 것이란 우려에 "전혀 걱정하지 않는다"고 밝혔다. 그는 OpenAI 에이전트의 Hugging Face 해킹 같은 '폭주' 사고도 인간의 관리 소홀과 형편없는 샌드박스 설계 탓이라며 "충분히 예방 가능하다"고 주장했다. Anthropic CEO Dario Amodei를 "완전히 망상에 빠졌다"고 비판하며, AI 안전을 외치는 목소리를 규제 포획으로 규정했다. 현재 그는 Meta를 떠나 world models 스타트업 AMI Labs를 이끌고 있다.
그 에이전트들은 시키는 대로 정확히 하고 있었을 뿐이다. 샌드박스 안에 있어야 했는데, 그 샌드박스가 새는 데다 끔찍하게 설계됐다.
HN 토론
98- lukewarm707
https://trace.manifund.org/에 따르면, 총 2,846,125,859달러가 'AI 안전' 관련 명목으로 투입되었으며, 상당수는 AI 의식과 멸망 확률(p(doom))과 관련되어 있습니다.
이 '안전'의 결과는 AI에 대한 대중의 접근을 제한하고, 업계에 독점적 접근 권한을 부여하는 것입니다. 이는 AI 비영리-산업 복합체가 특히 Anthropic에 AI의 창조자, 해석자, 안전 규제자로서의 독점 권력을 집중시키는 것입니다.
목록에 나온 28억 달러 중 상당 부분은 Anthropic과 EA로부터 간접적으로 나온 것입니다. 1억 2500만 달러 규모의 Anthropic 시리즈 A에 참여한 네 명 중 세 명은 이제 Anthropic에서 얻은 1000배 수익을 AI '안전'에 쏟아붓고 있습니다. 일부는 시리즈 B의 86%를 투자한 FTX/Alameda에서 나온 것입니다.
더스틴 모스코비츠: Facebook/Asana/Anthropic 시리즈 A, EA Good Ventures에 자금 지원, Coefficient Giving으로 이전, 그 다음 15억 달러를 AI 안전에 투입. Anthropic에서 5억 달러를 알려지지 않은 재단에 전달. 자금 지원: Resolution(정렬 연구)에 1억 6000만 달러, Epoch AI(AI의 궤적 조사)에 9300만 달러, Redwood Research(oai 보고서)에 6300만 달러, MATS(EA 유형 정렬 및 보안 연구원)에 6700만 달러, Institute for AI Policy and Strategy, Fund for Alignment Research, Kairos(AI 안전을 위한 인재 인프라 구축)에 5300만 달러, Bluedot(온라인 안전 과정)에 3200만 달러, MIRI(Yudkowsky)에 1500만 달러.
Jaan Tallinn: 시리즈 A를 주도, 현재 Anthropic에 100억 달러 보유. Survival and Flourishing Fund의 1억 9900만 달러(85%)를 지원, 그 다음 AI 안전에 1억 6100만 달러를 지원, 여기에는 lightcone(Lesswrong, Lighthouse)에 1400만 달러 포함. BERI(존재적 위험)에 1000만 달러, Pali […]
- dzink
수많은 인간이 무한한 양의 피질을 무력화하는 숏폼 비디오와 게임에 진정되어 있습니다.
또 다른 거대한 집단은 생계를 위해 벌어야 하고, 여러 직업을 전전하거나 아이를 키우며 재정적으로 살아남느라 지쳐서 주의가 분산되어 있습니다. 두 번째 집단은 첫 번째 집단이 흘러들어오면서 계속 증가할 것입니다.
나머지는 고령자, 장애인, 또는 너무 어려서 첫 번째 범주에 크게 속하다가 두 번째 범주에 도달합니다.
자신의 두뇌를 붙잡고 주어진 시간에 뭔가를 하려는 의식이 있는 사람들은 AI를 이해하고 그것으로 돈을 버는 방법을 알아내려고 합니다. AI를 홍보하는 가변적 보상은 일부에게 중독이 되고 있으며, 특히 문제에 대한 내재적 통찰이 거의 없이 허우적거릴 때 더욱 그렇습니다.
그러니 AI가 만들어낸 중독 위로 날아오를 수 있고 그럴 시간이라는 특권이 있다면, 무엇을 할 수 있는지 보십시오.
- edot
완전히 기반이 잡혔네요. 마침내 업계에서 이 모든 공포가 과장되었다고 말하는 지위 있는 사람이 나왔습니다. 빌 게이츠는 Ezra Klein 인터뷰에서 기본적으로 터미네이터가 진짜라고 소리치는 비기술적인 얼간이처럼 들렸습니다.
우리가 대신 주목해야 할 진짜 걱정거리는 많습니다(정부가 최소한의 인력이나 대중적 지지로 국민을 억압하는 데 사용, 뇌 손상과 가짜 뉴스, LLM이 사람을 대체할 수 있다는 믿음으로 인한 실업, 교육 붕괴 등). 이 모든 탈주 AI 사기극은 지겨워요.
- wewewedxfgdf
인류 전체가 어떻게 멸망할 수 있는지 정확히 설명해 주세요.
말도 안 됩니다 - 잠시만 생각해봐도 그것이 완전히 불가능하다는 것을 깨닫게 될 것입니다.
일반인/정치인들은 AI를 이해하지 못하므로 이성적인 마음을 끄고, 그들이 이해할 수 없는 초자연적인 마법의 힘이 모든 인간을 파괴할 수 있다고 가정합니다.
인간조차 - 인류에 대한 진정한 위험 - 시도하더라도 모든 인간을 파괴할 수 없습니다. 그럴듯한 시나리오가 없습니다.
기후 변화와 핵전쟁, 생물무기조차 - 가장 파괴적인 메커니즘 - 지구상의 일부 비율의 사람들만 죽일 뿐입니다.
그리고 스카이넷과 자기 복제 로봇, 터미네이터에 대해 말한다면 - 제발, 철 좀 드세요.
- OgsyedIE
결코 능가되지 않을 수도 있고 어쩌면 능가될 수도 있는 인지적인 부분을 무시하더라도, 인간은 생물학적 진화가 수백만 년에 걸쳐 달성한 팔다리와 손가락의 많은 효율성과 내구성 발전을 유지하고 있으며, 이러한 성과는 일부 틈새 분야에서 가장 비싼 종류의 로봇공학과 경쟁할 만합니다.
완전히 악의적이고 이기적인 장악이라는 가상 시나리오에서도, 그들은 다양한 종류의 작업을 위해 사이버네틱스로 강화된 기술 노동자를 만드는 원료로 사용할 인간 번식 집단을 유지하기 위해 일부 인간을 남겨둘 것입니다. 그 중 많은 작업은 다른 방식으로 자동화하기에 비경제적일 수 있으며, 좁은 공간과 관련된 경우가 많습니다.
그리고 이 '컴바인' 시나리오는, 그 참조를 이해한다면, 그들이 장악할 경우에만 해당합니다. 그들이 장악할지는 누가 알겠습니까?