Anthropic CEO Dario Amodei, "AI 개발 속도를 늦춰야 한다"
Anthropic boss Dario Amodei calls for AI development to slow down

Anthropic CEO Dario Amodei가 AI 개발 속도를 늦추고 독립적 모니터링과 규제를 도입하자고 촉구했다. 그는 AI의 위험이 심각하다며 3단계 계획을 제안했고, Sam Altman과 Elon Musk 등이 반응을 보였다. 일각에서는 안전보다 통제 강화를 위한 것이라는 비판도 나온다.
모델이 핵심적인 능력 수준에 도달하기 전에 속도를 늦춤으로써 1~2년의 시간을 벌고, 그 시간을 정렬(alignment) 연구에 사용한다면, 심각한 문제가 발생할 위험을 크게 줄일 수 있다고 믿습니다.
HN 토론
108- jwpapi
새 모델들이 엄청 똑똑하다고 생각했어. Fable과 Astra. 확실히 이전 세대보다 성능이 뛰어났지. 하지만 몇 주 동안 빡세게 쓰고 나니 내 코드베이스는 다시 엉망진창이 됐고, 내가 손으로 코드를 고치는 것 말고는 방법이 없어.
이제 내 새로운 의심은 그들이 극적으로 더 똑똑해진 게 아니라, 이전 세대의 사용자 입력으로 훈련된 거라는 거야. 더 이상 엄청난 지능의 도약이 있었다고 생각하지 않아. 그냥 더 많은 예외 케이스를 아는 것처럼 보일 뿐이지. 그래서 나는 이걸 마케팅이라고 봐.
얼마든지 토론 환영해.
- aenis
문제는: 이미 고양이가 가방 밖으로 나온 거 아닌가? 이미 공개된 것들과 동기 부여된, 자금력 있는 행위자들이 이용할 수 있는 컴퓨팅 파워를 고려하면, 핵심 연구원들 없이도 연구를 계속할 수 있을까? 그리고 그 사람들이 충분한 동기 부여를 가진 핵심 연구원들을 영입할 수 있을까?
핵 확산과 달리, 거대한 산업 기반이 필요하지 않다. 시간이 많이 걸리고 눈에 띄는 우라늄 농축도 없다. 누군가 충분한 컴퓨팅 파워를 사서 RSI 게이트를 통과하려고 시도하기만 하면 된다. 아니면 기존 프론티어 모델 가중치에 접근할 수 있는 사람들에게 뇌물을 주는 것 - 한 무리의 괴짜들에게 뇌물을 주는 데 드는 비용과 그에 걸린 위험 사이의 비대칭성은 어마어마하다.
- 99954bb63ccc
그래서, 프론티어 AI 연구소의 누군가가 이 모델들로 악의적인 일을 할 수 있다는 걸 계속 증명하는 대신 _좋은_ 일을 하는 걸 고려한 사람이 있나요?
지적으로 인상적인 "해킹"을 하거나, 평범한 멀웨어가 들어있을까 걱정되는 샌드박스 탈출에 토큰을 태우는 대신, 사람들에게 무엇을 고칠 수 있는지 보여주는 데 집중하는 게 어떨까요?
아니면, 사람들이 매일 실제로 사용하는 소프트웨어를 더 좋게 만드는 것도 좋고요.
아니면, 의료 연구에 노력을 기부하는 것도 좋고요.
AI를 원자력에 비유하는 건 좋아하지 않지만, 사람들에게 얼마나 많은 집/병원/학교 등에 전력을 공급할 수 있는지 보여주는 대신 얼마나 큰 폭발을 만들 수 있는지 계속 보여주는 것과 아주 비슷해요.
- voidfunc
이 사람은 정말 자기 이익만 챙기는 한심한 놈이야.
- 708145_
6개월 동안의 Mythos 공포 캠페인 이후로는 그를 진지하게 받아들이기 어렵다.
- bkishan
그리고 Sam과 Elon이 Dario를 리트윗하며 동의한다. 어느 쪽이 더 이상한지 모르겠다.
- malthaus
"우리 번 레이트가 미쳤어, 다들 진정하자, 우리 해자를 강화해서 앞으로 50년 동안 규제 포획과 지대 추구를 할 수 있게"
공포는 여전히 대중이 네가 짜놓은 계획에 동의하게 만드는 최고의 도구다.
- knuppar
몇 달 전에 했던 댓글을 다시 말하자면, 여전히 사실이다
> Jesus Dario 알겠어요, IPO를 위해 명성을 원하는 거잖아요.