Dario Amodei에게 보내는 공개 서한: 진심이라면 가중치를 공개하라
An open letter to Dario: if you mean it, open the weights

Jacob Gold가 Dario Amodei에게 공개 서한을 보냈다. Anthropic이 'We Must Pace the Frontier'에서 제3자 평가자 내장과 정부 규제를 촉구한 것을 두고, Gold는 규제가 결국 규제 포획으로 이어져 프런티어 랩의 지위를 보호할 뿐이라고 주장한다. 대안으로 그는 회사가 공개하는 모든 AI 모델의 가중치를 오픈으로 공개하도록 하는 법을 제안한다. 이는 Anthropic과 OpenAI 같은 기업의 평가 가치를 낮춰 훈련 자금을 줄이고, 규제 기관의 결정 없이도 진전을 늦출 수 있다는 논리다.
규제로 프런티어 모델을 늦추는 방법은 규제 포획으로 이어지지 않는 한 없다.
HN 토론
98- Aurornis
이건 앞뒤가 안 맞는다. 주장은 가중치를 공개하면 프런티어 랩들이 자금을 모으는 속도가 느려지고, 그러면 돈이 줄어들고, 그러면 AI 발전이 느려진다는 것 같은데. 전 세계 모든 랩이 이런 식으로 자멸하기로 합의하고, 작업을 이어갈 새로운 랩이 하나도 생기지 않는다고 가정한 거다.
아니, 진짜로:
> 아시다시피, 프런티어 모델 개발 자금은 가중치가 독점적으로 유지된다는 가정에 기반한 밸류에이션에 의존합니다. 그 가정을 바꾸면, 향후 학습 실행에 사용할 수 있는 돈을 줄이고 모든 랩의 발전을 한 번에 늦출 수 있습니다. 규제 기관이 아무것도 결정하지 않고도 말이죠.
이건 논리적으로도 맞지 않는다. 전 세계 모든 랩이 자신의 밸류에이션을 자멸시키고 경쟁을 중단하는 데 동의해야 성립한다. 그건 Dario가 요구하는 어떤 것보다도 훨씬 불가능한 요구다.
또한 새로운 랩이 생겨나서 공개된 가중치를 사용해 기존 랩이 멈춘 바로 그 지점에서 작업을 이어갈 가능성도 무시한다.
헤드라인에 너무 흥분한 나머지 자기 주장이 타당한지 생각할 시간을 갖지 않은 사람의 횡설수설을 읽은 기분이다.
- tristanj
글쓴이는 여기에 합리적인 사고를 전혀 하지 않았다. 만약 Anthropic이 공개적으로 접근 가능한 모델의 가중치를 공개하도록 법적으로 요구받는다면, 논리적인 대응은 그냥 공개 모델 제공을 중단하는 것일 뿐이다. 어차피 Anthropic은 대부분의 수익을 기업 계약에서 얻는다. 공개 모델을 제공하거나 모델에 대한 공개 접근을 제공하는 것은 부차적인 사업이다. 언제든 끊을 수 있다. (보조금을 받는 요금으로) 모델에 대한 공개 접근을 제공한 것은 그들에게 너무나 많은 간접적 피해와 재정적 비용을 초래했기 때문에, 접근 제공을 중단하는 것은 충분히 정당화된다.
Anthropic은 이미 대중에게 모델을 공개하지 않는 것에 매우 익숙하다는 것을 보여주었다. Mythos는 아마 6개월쯤 전부터 있었는데, 공개 릴리스는 전혀 없었다. Anthropic이 선택한 소수만 접근할 수 있다.
공개 모델에 투명성을 강제하면 이런 모델에 대한 접근이 더욱 사유화되는 것을 가속할 뿐이다. 그런 세상에서 살고 싶지는 않을 것이다.
- jsnell
> 회사가 대중에게 제공하는 모든 AI 모델은 오픈 가중치로 공개해야 한다.
이 계획의 명백한 결과는 프런티어 모델이 아예 대중에게 공개되지 않는 것이다. 끔찍하게 나쁜 결과일 것이다. 대중이 접근할 수 있는 모델은 정체되고(자본도 없고, 증류할 프런티어 모델 토큰에도 접근할 수 없으니), 내부 모델은 이전 속도로 계속 개선되어 사내에서 사용되다가 결국 경제 전체를 잠식할 것이다.
- throwaw12
나는 미국 AI 랩의 세 얼굴, 즉 Dario, Sam, Elon에 대해 매우 회의적이다.
그들이 다른 모든 사람이 자신들을 따라잡지 못하게 하려는 것인지, 아니면 모델을 더 개선하는 데 어떤 장벽에 부딪힌 것인지?
하지만 내 생각에 그들은 인류를 돕려는 게 아니다.
- bryan0
Dario는 다음을 꽤 명확하고 일관되게 말해왔다:
1. AI 모델 안전이 가장 중요한 것이다.
2. 오픈 가중치는 모델 안전을 떨어뜨린다
따라서 이 제안이 좋은 반응을 얻을 것 같지는 않다.