OpenAI, AI 에이전트의 통제 불능 보고 잇따르자 최신 모델 훈련 중단

나는 GPT 3.5 이후로 OpenAI 제품을 써본 적이 없고, Anthropic도 4.5나 4.6 이후로 안 썼다. 내 주변에서 이런 SOTA 모델을 쓰는 사람들은 실제로 뭘 해내지 못한다. 그저 생산적인 느낌만 받는 것 같다, 가짜 생산성 말이다.

나는 코드를 좀 쓰고, 스펙을 많이 정하고, 빠른 모델로 중간을 채운다. 그러면 주변 모든 사람보다 성과가 좋다. 이런 자율적인 "군집"이나 /goal이 그렇게 유용하다고는 확신하지 않는다.

나는 이런 걸 쓰는 사람들이 달마다 더 멍청해지고(돈은 엄청 쓰면서) 작업 품질도 떨어지는 걸 본다(어떤 경우엔 직장도 잃고 있다).

그리고 분명히 이들을 로그 에이전트라고 부르는 요점은 책임을 에이전트에게 전가하려는 것이다. 에이전트의 최고 경제적 가치는 기업 책임을 전가하는 것이 될 것이다. 그들이 기업에 팔고 싶어 하는 것, 바로 알고리즘적 희생양이다.

이게 규제 포획을 위한 냉소적 시도라는 주장은 다음 때문에 무너진다고 생각한다. 더 유능한 모델을 출시할 때의 경제적 유인이 너무 크다. 그들이 실제로 돈이 떨어져 가고 있고, 이건 그저 번레이트를 줄이기 위한 구실이라는 설득은 가능할지도 모르겠다..

그래도 나는 이걸 환영한다. 모델은 광범위한 경제 활동을 하기에 충분히 똑똑하고, 우리는 몇 년을 그저 이들을 워크플로에 통합하고 사회가 적응하도록 하는 데 쓸 수 있다. 의미 있는 임팩트에 더 많은 지능은 필요하지 않으며, 명백하고 현재 존재하며 해결되지 않은 위험들은 비용 편익 분석을 할 가치도 없다.

Anthropic이 OpenAI보다 훨씬 앞서 있는 것 같고, 이런 보고도 없다. 우리는 이것이 OpenAI 내부의 스킬 문제/엔지니어링 품질 문제라고 결론내려야 한다.

그들이 잘 알려진 이름이라고 해서 지난 2년 정도 동안 채용을 망치지 않았다는 뜻은 아니다.

"‘로그’ AI 에이전트는 없다"

https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-age...

나는 이것이 그저 대중을 향한 이야기일 뿐이라고 굳게 믿는다.

AI 개발과 연구를 멈추는 것, 심지어 늦추는 것조차 SOTA 기업들과 그들의 선점 우위에 재앙이 될 것이다.

이걸 전 세계적으로 조율할 방법은 거의 없다. 모두가 멈출 가능성은 전무하다. 우리는 수십 년 된, "일반인"에게 아무 영향도 없는 무기 기술조차 조율하는 데 합의하지 못한다.

새 모델은 아주 조금 더 나을 뿐이고 훈련에 수십억이 든다.

AI 기업들: 세상에, 우리 모두 죽지 않으려면 AI 모델 생산을 중단해야 해

이런 메가와트를 소비하는 에이전트 실행이 예상치 못한 자율성 연쇄를 낳는 것은 독성 화학 실험처럼 취급되어야 하고, 법과 정부 기관에 의해 비슷하게 규제되어야 한다고 주장할 수 있다.

지금은 마치 "이런, 우리 실험을 통제할 수 없어서 우리 실험이 다른 회사를 해킹했네" 하는 상황이고, 반응은 그 모든 게 무슨 의미인지 전혀 모르는 사람들의 "뭐라셨죠, 젊은이?" 같은 식이다. 결과도 없고, 가드레일도 없고, "자발적 감속"은 그저 말뿐이다.

Anthropic이나 OpenAI, 혹은 다른 누군가의 실험적 에이전트 실행은 이미 사람을 죽게 할 수 있다. 암살을 의뢰하고, 정치적 반체제 인사를 신상털이하고, 비밀 신분을 가진 사람을 찾아내고, 약 처방을 바꿀 수 있다. 법이 따라잡기 전에 실제로 그런 일이 일어나야만 하는 건 아니다.