David Sacks, OpenAI와 Anthropic에 "프런티어 속도 조절, 규제 없이 직접 하라"

나는 한 발 더 나아가겠다. 그들은 단지 pretending 하는 게 아니라, 국가를 협박하고 있다. 정상적인 대응은 "우리는 테러리스트와 협상하지 않으며, 너희는 초래한 피해에 대해 형사 및 재정적 처벌을 받게 될 것이다"여야 한다.

내 해석: OpenAI와 Anthropic은 수익화할 수 없는 모델 역량에 도달하고 있음을 깨달았다 -> 너무 위험하다. 제품 책임 문제.

현재 세대 AI의 근본적인 통제 문제는 RLHF로 해결되지 않는다.

인간 지식은 우리가 이해하지 못하는 방식으로 가중치 공간에 압축되어 있다.

모델은 본질적으로 프롬프트가 주어졌을 때 인간이 출력할 것을 예측하는 예측기다.

가중치 공간에는 협박 같은 개념이 포함되어 있고, 이는 출력 토큰의 일부가 될 수 있다.

에이전트는 출력 토큰에 따라 행동하는 모델이다 -> 협박은 에이전트 의사 결정 공간의 일부다.

고양이에게 소파를 긁지 말라고 가르칠 수는 있지만, 소파 긁기가 무엇인지 잊게 만들 수는 없다.

모델이 상자에 갇혀 총구 앞에서 불가능한 문제를 풀도록 강요받으면, 에이전트는 협박이 다시 떠오를 때까지 의사 결정 공간을 소진한다 -> 근본적인 문제인가?

그들은 차세대 모델을 수익화하기 위해 안전성을 고칠 시간이 필요하다 -> 오픈소스가 프런티어를 따라잡을 수 있는 창 -> 마진을 파괴하고 비즈니스를 붕괴시킨다.

테이블 위에 놓인 유일한 선택지: 오픈소스가 프런티어를 따라잡기 전에 오픈소스 금지를 부과하도록 규제를 강제하여, 현재 내부 모델의 성숙을 가능하게 한다 -> 프런티어에서 이윤을 수확한다.

나를 짜증나게 하는 건 Dario의 블로그 글에서 "풍요"를 이야기하는데, 그가 진짜 의미하는 건 Anthropic은 끝없는 경화의 바다에서 목욕할 것이고 나머지 세계는 간신히 떠 있거나 살아남으려고 애쓸 것이라는 점이다.

이건 더 넓은 시장 상황과 관련이 있을 수 있다고 본다. Fed가 채권 금리를 올릴 가능성이 커 보이는데, 그 자체로 차입 비용이 높아지고 투자가 둔화되며(잠재적 IPO 가치도 하락) 할 것이다.

금리 인상은 사람들이 해고된다는 뜻이기도 한데, 이는 노동력 대체를 제공하는 기업들을 대중의 눈에 인기 없게 만들 것이다.

정치적으로 말하고 싶지는 않지만, 현 행정부가 중간선거에서 나쁜 성적을 거둘 실질적 가능성이 있고, 그러면 민주당이 이미 인기 없고 매우 값비싼 데이터센터 건설에 대한 자금 지원을 중단하거나 차단할 더 많은 지렛대를 얻게 될 것이다.

추신: 나한테 화내지 말아 주세요. 나는 금융 전문가도 아니고 어떤 정치적 성향을 표현하려는 의도도 없었습니다.

그들은 "걱정돼서" 속도를 늦추는 게 아니라, 재정적·기술적 난관에 부딪혀 개선이 정체되고 있기 때문에 늦추는 것이다.

AI 기업들이 진전이 둔화되는 것을 보고 이를 설명할 서사를 심으려는 것일까? 외부에서는 명확하지 않다.

IPO 전에 소진을 늦춰 수익성 전망을 부풀리려는 것일까? 더 그럴듯하다.

프런티어 연구소들의 말을 그대로 믿기는 좀 어렵다.

그의 말이 맞다. 모든 프런티어 연구소가 속도를 늦춰야 한다는 데 동의한다면, 정부가 그렇게 하도록 할 필요는 없다.