OpenAI의 문화는 망가졌다: 안전팀 리더의 사임
I Quit OpenAI Because Its Culture Is Broken
OpenAI의 안전 보고서 작성을 이끌었던 저자가 사임하며, 업계의 안전 접근 방식이 더 많은 실패를 보장한다고 주장한다. 그는 특정 규칙이나 법이 아니라 실리콘밸리에 결여된 지혜와 문화를 근본적으로 바꿔야 한다고 말한다. 끊임없는 스프린트와 시행착오 중심의 낙관적 문화가 초래한 Hugging Face 사고와 안전 제어 실패를 예로 들며, 더 큰 겸손이 필요하다고 강조한다.
이 순간은 극도의 자신감으로 성공해 온 사람들에게는 자연스럽지 않은 정도의 겸손을 요구한다.
HN 토론
766- pcthrowaway
트롤리 문제:
- 트롤리가 그대로 진행하도록 놔두면, 지구상의 모든 인간을 치일 확률이 50%다
- 하지만 스위치를 젖히면, 트롤리가 먼 길로 돌아가게 되어 트롤리 회사가 파산할 수도 있다. 그리고 당신은 주주들에게 어떤 희생을 치르더라도 그런 일이 발생하지 않도록 막아야 할 법적 의무가 있다.
- danpalmer
"더 나은 샌드박싱을 구축하라" 그리고 "사람들에게 접착제를 먹으라고 하지 마라"는 쪽의 안전 리더였나, 아니면 로코의 바실리스크를 믿는 안전 리더였나?
많은 "AI 안전" 유형들은 후자에 매우 집중하고 전자에는 전혀 관심이 없다. 우리는 둘 다 필요하지만, 분명히 지금 우리가 보고 있는 문제들에 훨씬 더 강하게 집중하고 미래에 볼 수도 있는 가상의 문제들에는 훨씬 덜 집중할 필요가 있다.
- declan_roberts
우리는 정말 이 모든 신경증적인 사람들을 최전선 연구소에서 가능한 한 빨리 몰아내야 한다.
그 남자가 ChatGPT 베타 v0.5에 해당하는 것을 진짜 소년이라고 생각해서 Google을 사임했을 때쯤이면 예상했어야 했나 보다.
- gizmodo59
우리가 신경 쓰는 한 그는 위선자다. 스톡옵션이 베스팅되는 동안 잠시 회사에서 일하다가 갑자기 이런 느낌이 든다고? 그 남자는 PR 회사도 고용한 것 같던데.
안전과 정렬이 진짜 문제인 건 맞지만, 이 남자나 Anthropic 그 남자는 이해가 안 된다. 선진국 문제지.
- tornikeo
베스팅이 끝나서 그만둔 거지
- charlieyu1
예전에 AI 회사에 데이터를 공급하는 인간 데이터 트레이너로 일했다. OpenAI 프로젝트들은 확실히 가장 독성이 강한 것들이다.
- reenorap
샘 알트만이 OpenAI를 이끌 능력이 있을까? 회사와 그 사명이 그의 리더십 능력보다 더 큰 것 같다.
- flatline
"정렬"에는 수많은 문제가 있다. 애초에 "인간의 가치"란 무엇인가? 그는 글 초반에 암묵적으로 몇 가지를 설명한다: 적절한 안전장치 없이 더 크고, 더 좋고, 더 강력한 것을 더 빠르게 만드는 것. 우리는 말 그대로 수조 달러의 가치를 이 사업에 쏟아붓고 있고, 나는 이것이 많은 인간이 질적으로도 가치 있게 여기는 것이라고 말하고 싶다. 그런 다음 우리에게는 서구에서 주로 기독교 도덕에 뿌리를 둔 명시적 가치들이 있다. 니체는 200년 전에 이 이분법을 맴돌았고, 그 이후로 우리가 얻은 것은 정상 행동 대 일탈 행동의 기초로서 권력에 대한 점점 더 상세한 해부학이라고 느낀다. 단순화하자면, 권력을 가진 자가 규칙을 만든다.
나는 이 특정 저자의 재임 기간이 길다는 점 때문에 이 글이 어느 정도 무게를 가진다고 생각한다. 나는 정신적으로는 그와 동의한다, 하지만 이것은 여전히 실질보다는 정서에 관한 글이다. 지배적인 인센티브가 실제로 이런 것을 위한 여지를 남겨둔다고 생각하는 사람이 있나?
- jameshart
선물 링크: https://www.theatlantic.com/technology/2026/10/openai-safety...
- zamalek
항의의 표시로 그만두는 것은 독성 있는 근무 환경 때문에 그만두는 것보다 조금 더 나아 보인다. OpenAI에서 일하는 것이 그들이 직원들에게 가하고 있을 압박의 현재 수준을 고려하면 전혀 즐겁지 않을 것이라고 상상한다.