“Anthropic은 안전한 AI 기업이 아니다” — IPO 앞두고 연합이 안전 브랜딩에 정면 도전
"Anthropic Is Not a Safe AI Company" – Coalition Challenges Anthropic Safety
과학자·법학자·테크 리더들이 Anthropic의 IPO를 앞두고 회사의 안전 브랜딩을 문제 삼는 공동 성명을 냈다. Hacker News에서는 Anthropic이 업계에서 유일하게 수백만 달러를 로비에 쏟아부으며 오픈소스 모델에 반대해 왔다는 지적과, AI 붕괴론자와 반붕괴론자가 한자리에 모였다는 점에 주목했다. 기업의 이익 구조가 안전보다 우선될 수밖에 없다는 회의론과, 초지능 위험을 막으려면 오픈 웨이트를 규제해야 한다는 논리가 맞부딪혔다.
이 연합의 사람들은 거의 모든 것에 동의하지 않지만, 우리 모두는 자기 자신의 지배력이 더 큰 선이라고 스스로를 설득하는 기업의 위험성을 인식하고 있다.
HN 토론
77- neya
Anthropic은 로비 활동에 막대한 돈을 쏟아붓고 수백만 달러를 투자합니다. 그렇게 하는 유일한 회사죠. 그리고 그들의 의제는 항상 오픈 소스 모델에 반대하는 것이었습니다. 그 전쟁에서 이길 수 없다는 걸 알기 때문이죠. Jensen의 유출이 Anthropic의 IPO 직전에 완벽하게 맞춰진 것은 우연이 아닙니다. Jensen은 오픈 웨이트 모델의 열렬한 지지자였습니다.
그들은 또한 누군가의 프라이버시를 신경 쓰는 것과는 거리가 멀고, 사용자들을 감시하다 적발되기도 했습니다. 그래서..
- gensym
흥미로운 점은 이 목록에 유명한 둠어(doomer)들과 유명한 반-둠어(anti-doomer)들이 모두 포함되어 있다는 것입니다. 그들이 동의할 수 있는 한 가지는 Anthropic이 정직하거나 책임감 있게 행동하지 않고 있다는 것입니다. Ant의 자체 발언만 액면 그대로 받아들여도 이에 반박하기 어렵습니다.
- atleastoptimal
Anthropic은 AI 안전에 대해, 자신들이 이미 가지고 있던 다루기 쉬운 AI 위험에 대한 신념을 입증하는 한도 내에서만 신경 씁니다. 모델이 누군가 새로운 병원체를 만드는 데 도움을 줄지 측정하는 것은 매우 쉽지만, 변혁적인 AI의 존재 자체가 시민 사회를 해체하거나 절대적 전제 정치를 더 쉽게 달성하게 만들지를 판단하는 것은 훨씬 어렵습니다. 후자는 그들의 잠재적 시가총액을 낮추는 결정을 내려야 하므로 거의 추구되지 않을 것입니다.
- AshotSanamyan
그들이 안전해야 하는 건가요, 아니면 다른 모든 사람들이 Anthropic으로부터 안전해야 하는 건가요?
어느 쪽이 더 안전해야 하는지에는 큰 차이가 있다고 생각합니다. AI가 안전해야 하는지, 아니면 AI를 사용하는 모든 사람이 안전해야 하는지 말이죠.
- tim333
Dario와 Anthropic이 ASI가 위험하다고 생각하고, 어떤 전체주의 정부나 나치 경례를 하는 사람, 또는 변덕스럽기로 유명한 사람이 통제하는 것보다 안전 의식이 있는 누군가가 먼저 도달하는 것이 최선의 결과라고 진심으로 믿고 있을 가능성이 있습니다.
그들이 안전하지 않다는 증거로 인용된 것들:
- RSI - 그들이 먼저 도달하기 위해 해야만 하는 일
- 스스로를 안전하다고 홍보하는 것 - 어느 정도 예상할 수 있는 일
- 로비 활동 - 그 부분은 세부 사항을 잘 모르겠습니다
저는 아마 XAi나 OpenAI보다는 그들을 더 신뢰하지만 Google보다는 덜 신뢰합니다. 잘 모르겠네요.