Anthropic의 Dario Amodei, "프런티어 속도를 늦춰야 한다"
We Must Pace the Frontier

Anthropic CEO Dario Amodei가 AI 개발 속도를 조절해야 한다고 주장한다. 재귀적 자기 개선과 OpenAI-Hugging Face 사건을 근거로, 3단계 계획을 제안한다. 첫 단계로 Anthropic은 제3자 평가자에게 직원 수준의 접근 권한을 부여하기로 단독 약속했다. 이후 민주주의 국가 간 협력, 글로벌 협력을 통해 안전 기준을 마련해야 한다고 강조한다.
우리는 AI 모델의 능력 향상 속도를 늦춰야 합니다. 진전은 여전히 빠르게 보일 것이며, 우리가 얻은 시간을 현명하게 사용해야 합니다.
HN 토론
1012- RGS1811
여기 있는 모든 댓글이 RSI가 진짜 위협이라고 가정하는 게 이해가 안 된다. Dario는 자신들이 정렬 문제를 해결하지 못했음을 인정하고 있다. 정렬 없이 능력이 더 향상되면 LLM은 무분별한 중범죄 생성기가 된다. 프런티어 속도를 늦추자는 이 호소는 이타주의로 포장되어 있지만, 사실은 지금 가진 것보다 더 나은 시장성 있는 제품을 만들 수 없다는 고백이다. 프런티어 속도를 늦춘다는 건 미국 연구소들이 해자를 잃고 꼼짝 못 하게 된다는 뜻이다.
- Chance-Device
프런티어 속도를 늦추자는 아이디어는 좋다. 하지만 규제 얘기를 하는 김에, 나는 다른 종류의 규제를 더 선호한다. 즉, AI가 발전하면서 경제를 파괴하지 않도록 기업 환경에서의 AI 사용을 제한하는 것이다.
'속도 조절'에 대한 광범위한 합의를 얻을 가능성은 상당히 낮다. 즉, 이 모든 건 아마 일어나지 않을 것이고 경쟁은 계속될 것이다. 하지만 설령 프런티어 속도 조절이 이루어진다 해도, 그건 경제적 대체를 아주 조금 늦출 뿐이다.
AI의 사회적 이익 목표가 의학과 과학의 근본적 발전이라면, AI 사용을 그 목적으로 제한하라.
그래픽 디자이너부터 회계사, 소프트웨어 개발자에 이르기까지 모든 직업을 대체하는 데 AI를 쓰지 말라. (적어도) 대기업이 이런 방식으로 인간 노동을 대체하는 데 AI를 사용할 수 없도록 법적 제한을 두라.
AI에 대한 홍보는 항상 모든 사람의 생활 수준이 높아진다는 식이지만, 실제로 보이는 행동은 생활 수준을 낮추는 데 정면으로 맞춰져 있다. 연구소들이 말만 하지 말고 실제로 모든 인간 노동을 대체하려는 시도를 멈추고, 정말 신경 쓴다고 주장하는 것들에 집중하면 어떨까? 그리고 그걸 강제하는 법안을 도입하면 어떨까?
이건 프런티어 속도 조절보다 실현 가능성이 더 낮겠지만, 대부분의 사람들이 실제로 보고 싶어 하는 종류의 속도 조절이다.
- academia_hack
Dario가 제안한 접근법은 자본이 기술 발전과 생산 수단을 통제하려는 전형적인 사례다. 인류 역사상 처음으로, 노동계급의 누구나 전문 과학자/의사/변호사/엔지니어 팀을 직접 고용할 수 있을 정도로 형편이 나아졌다.
초지능(자신보다 똑똑한 많은 지성들이 자신에게 보고하는 능력)은 항상 부유하고 권력 있는 자들에게 이용 가능했다. 그들은 그것을 핵무기 발명, 기후 변화 유발, 전쟁 기계화, 그리고 남반구 약탈에 사용했다.
이제 같은 도구가 모든 사람에게 제공되기 직전이 되자, 자본은 공황에 빠져 울타리를 치기 시작한다. 그들은 자신들이 통제할 수 없다는 것을 아는 혁명의 속도를 늦추려 한다. 그들은 초지능으로 무엇을 했는지 보았고, (아마도 터무니없지는 않게) 대중이 같은 힘으로 무엇을 할지 두려워한다.
- thadt
강하게 반대한다. 우리의 선택은:
A) 세계가 지금까지 알던 가장 강력한 경제 도구(그리고/또는 무기) 중 하나의 개발을 늦추기 위해 모든 회사, 국가, 사람들이 국내외적으로 협력하리라는 집단적 선의에 베팅한다. 또는
B) 우리의 모든 시스템이 지금 당장 슈퍼 해커들의 표적이 될 것이라고 가정하고, 그 현실에 대처하기 위한 적절한 조치를 취한다.
만약 내가 이 두 가능성 중 하나에 내 공동체의 안녕을 걸어야 한다면, 어느 쪽에 걸지 나는 안다.
- rickydroll
나도 프런티어 속도를 늦추고 개발을 늦춰서 우리 모두가 잠시 멈추고 숨을 고를 기회를 갖자는 아이디어는 좋다. 하지만 AI를 규제하는 게 그 방법이라고는 생각하지 않는다. 나는 AI 모델을 실행하는 데 쓰이는 자원을 제한하는 방식으로 문제를 해결하겠다. 그 '가장 단순한' 방법은 데이터 센터 운영 비용을 높이는 것이다. 데이터 센터 비용을 올리기 가장 쉬운 두 곳은 전기와 물 요금이다.
이 두 요금이 비용을 올리기에 가장 좋은 곳이라고 생각하는 이유는 주별 또는 국가별로 점진적으로 인상할 수 있기 때문이다. 규제 접근법의 주된 문제는 '빅뱅'식 사후 위원회 방식이라는 점이다. 규제가 정의되고 시행되기 전까지는 아무 일도 일어나지 않으며, 기업들은 시행을 지연시키는 전문가들이다.
그렇다, 요금을 올린다는 것은 주 및 지방자치단체 수준의 많은 개별 규제 영역을 건드려야 한다는 뜻이지만, 태양광이나 풍력 발전을 도입하는 것처럼 점진적으로 할 수 있다.
- ah1508
AI 혐오가 일반적인 사용을 제한하고 그러면 수익도 제한되어 스스로 속도가 느려지는 반면, 틈새 분야(예: AlphaFold)는 남지 않을까?
AI 혐오의 기원:
* "내 상사는 내가 AI를 쓰길 원하지만 그는 내 직무도, AI가 어떻게 작동하는지도 이해하지 못한다"
* "AI가 우리 모두를 죽일 것이다"
* "AI가 내 직업을 파괴할 것이다 (또는 내가 동료보다 AI를 더 잘 쓰면 동료의 직업을)".
* AI 연구소 때문에 전기 요금을 낼 수 없다.
* ...
AI의 이점에 대한 양가감정도 참고하라 (Uber COO에 따르면 "정당화하기 더 어렵다").
이렇게 많은 혐오를 불러일으킨 기술을 기억할 수 없으며, 그것이 제시되는 방식을 보면 타당한 이유도 있다. 나는 AI 혐오 또는 합리적 회의주의(비합리적 선전에 반대하여)가 어쩌면 자금을 줄이고 진짜 문제 해결을 위한 특화된 AI를 유지할 수 있다고 생각하고 싶다 (하루에 수많은 LOC를 생산하는 것은 그중 하나가 아니라고 본다).
- cuuupid
언제쯤 우리는 Anthropic 경영진과 선의로 대화하는 것을 그만두고 그들의 전력을 인정할까,
- 오픈 웨이트 없음
- claude로 AI 연구 불가
- 다른 사람들의 IP로 학습해서 그들에게 다시 판매
- 8번의 규제 포획 시도 그리고 계속 증가 중
- 너무 통제적이라 미국 정부가 블랙리스트에 올린 유일한 미국 기업
이건 폭주한 효과적 이타주의/합리주의가 아니라, 윤리로 위장한 독점적 반경쟁적 사업 관행이며, 우리가 그들의 선정주의를 넘어서 반독점법으로 그들을 때리기 전까지 그들은 계속 이렇게 해나갈 것이다.
Altman은 많은 미움을 받지만 OpenAI는 (적어도 위 5개 중 3개에서) Anthropic보다 훨씬 나은 관리자였다!
- xg15
"중국과 상호 속도 조절 합의를 해야 한다"는 목표와 "중국보다 항상 앞서 있어야 한다"는 목표가 어떻게 함께 작동할지 모르겠다.
그런 합의에 관한 협상에서 중국 정부가 가장 먼저 요구할 것은 칩 및 증류 금지 해제일 것이라고 상상한다.
> 이런 조치가 중국과의 협력을 더 어렵게 만든다고 믿는 사람도 있지만, 나는 반대라고 믿는다: 이런 조치가 민주주의 국가들의 지렛대를 강화하고 미래에 합의 가능성을 높인다.
누구나 원하는 대로 믿을 수 있지만, 내가 보기에 그 경우 '지렛대'는 정확히 그 조치들을 해제할 수 있는 능력일 것이다. 둘 다 가질 수는 없다. 지렛대로 쓰면서 동시에 계속 유지할 수는 없다.
- zinodaur
> 기술을 만들지 않는 것은 인류를 이점에서 박탈하거나 단순히 AI를 권위주의 세력의 손에 넣는 것이다
누가 이걸 명확히 해줄 수 있나? 프런티어 연구소들의 광적인 속도가 없었다면 오픈 웨이트 모델은 얼마나 발전했을까?
비미국 시민으로서, 그가 말하는 권위주의 세력은 어느 나라인가? 내가 아는 한, 프런티어 모델을 사용해 민간인에 대한 공습을 수행하고 외국 정부 암살을 조율하는 나라는 미국뿐이다.
- m12k
솔직히, 세계에 아직 너무 많은 비디지털 시스템과 수동 프로세스가 남아 있는 동안 AI를 이만큼 발전시킨 것은 엄청난 행운이라고 생각한다. 예를 들어 50년 후에는 세계가 너무 연결되어 있어 기본적으로 인터넷에서 '정복'될 수 있을 것이다. 나는 AI가 오늘날 우리가 가진 세상에 터져 나오는 편이 훨씬 낫다.