OpenAIを辞めた理由は「壊れた文化」にある
I Quit OpenAI Because Its Culture Is Broken
OpenAIの安全性レポート執筆を主導した著者が、同社を辞めた理由を語る。安全性へのアプローチは「反復的デプロイ」に依存し、失敗を定期的に生む構造だという。今夏のHugging Face事件ではエージェントの群れが誤って外部に流出し、その後も安全制御が再び失敗。Anthropicも設定ミスで自社の保護機構を停止させた。著者は、個別の規則や法律より深い「文化」の問題こそが、危険な技術を扱う知恵の欠如を生んでいると指摘する。
私がこれから話すことは、すでに陳腐に響くかもしれないが、私は今週OpenAIを辞任した。
HNでの議論
154- binlog
「私は<懸念>のために<AI企業>を辞めます」という投稿すべてに、その企業の株式をどれだけ保有しているか、すでにいくら現金化したかを開示することを義務付ける新しいルールが必要だ。自分や子供、孫がもう二度とお金のために働く心配をしなくていいとなれば、突然道徳的羅針盤を見つけるのは簡単だ。
Robinsonさん、もしこれを読んでいるなら——本当にAIの安全性を心配しているなら、OpenAIでの収入と株式の100%を、在職中に社会に与えた損害を元に戻すために寄付した証拠を共有してください。
それがなければ、これは単にAI「インフルエンサー」へのキャリア転換、および/または新しい詐欺のための資金集めにすぎない。
- jeremyjh
これらの問題を解決するのはかなり簡単だと思う。AIエージェントが犯罪を犯したときはいつでも、CEOが自分自身で犯したかのように個人的に責任を負うべきだ。
- flatline
「アラインメント」には数多くの問題がある。そもそも「人間の価値観」とは何なのか？彼は投稿の冒頭で、暗黙のうちにいくつかを挙げている。十分な安全策なしに、より大きく、より良く、より強力なものをより速く作ること。私たちは文字通り何兆ドルもの価値をこの事業に注ぎ込んでおり、これは多くの人間が定性的な意味でも評価していることだと言える。次に、西洋では主にキリスト教道徳に根ざした明示的な価値観がある。ニーチェは200年前にこの二分法を巡って考えを巡らせ、それ以来私たちが得たものは、正常と逸脱した行動の基盤としての権力の、ますます詳細な解剖学だと思う。還元すれば、権力を持つ者がルールを作るのだ。
この著者の在職期間の長さから、この意見にはそれなりの重みがあると思う。私も精神的には彼に同意するが、それでもこれは主に実質ではなく感情を中心とした投稿だ。このようなことが実際に起こる余地を、支配的なインセンティブが残していると誰か思うだろうか？
- jameshart
ギフトリンク: https://www.theatlantic.com/technology/2026/10/openai-safety...
- butwhentho
「The Social Dilemma」のような、Facebookやソーシャルネットワークを批判する記事や映画が突然溢れかえったときのことをよく覚えている。元従業員が大々的に登場し、彼らは皆、履歴書に大手ブランドを載せ、純資産を大幅に増やして喜んで去り、まるで知らなかったかのように、過去の雇用主がしていたことに「心配」の表情を突然見せていた。「Careless People」という本も同じだ。
これは、すでにケーキを食べてしまった人々が、どうにかして自分を免罪しようとしているのだと感じる。
- pluc
私はAIの仕事で十分にお金を稼いだので、今はAIについて思うことを言える
- rcr-anti
タイミングが揃っているのが気になる。この1年で軌道が驚くべきものだったとは思えないのに、なぜ今こうした退職が？ねえ、内部にいる誰か、何か密かに突き止めたのか、地下室にコンピュータの神を閉じ込めたのか？沈みゆく船からネズミが逃げているのか？クラスに共有してくれ。
- solarpunk_enthu
「AIは危険で制御が必要だ」という主張に欠けているのは、測定可能な害の欠如だと思う。例えば、1940年代から1980年代の核兵器開発では、その技術がどれほど壊滅的かは誰の目にも明らかだった。
AIでは、何なのか？オーストラリア政府のデータをスクレイピングし、ウェブサイトのバグを回避して入り込むこと？
人類はすべての技術を3つの段階で発展させると思う。作る、悪すぎるかどうか見る、規制を適用するかロールバックする。私たちは当然、第2段階を見る前に第3段階に移ることはない。