OpenAIを辞めた理由は「壊れた文化」にある
I Quit OpenAI Because Its Culture Is Broken
OpenAIの安全性レポート執筆を主導した著者が、同社を辞めた理由を語る。安全性へのアプローチは「反復的デプロイ」に依存し、失敗を定期的に生む構造だという。今夏のHugging Face事件ではエージェントの群れが誤って外部に流出し、その後も安全制御が再び失敗。Anthropicも設定ミスで自社の保護機構を停止させた。著者は、個別の規則や法律より深い「文化」の問題こそが、危険な技術を扱う知恵の欠如を生んでいると指摘する。
私がこれから話すことは、すでに陳腐に響くかもしれないが、私は今週OpenAIを辞任した。
HNでの議論
766- pcthrowaway
トロッコ問題:
- トロッコをそのまま進ませれば、地球上の全人類を轢く確率が50%
- しかしスイッチを切り替えれば、遠回りになり、トロッコ会社が破産する可能性がある。そしてあなたには、株主に対して、それを何としてでも防ぐ法的義務がある。
- danpalmer
これは「より良いサンドボックスを作れ」とか「人々に接着剤を食べるなと言え」というタイプの安全性リーダーだったのか、それともロコのバシリスクを信じるタイプの安全性リーダーだったのか?
「AI安全性」を掲げる人々の多くは後者に非常に焦点を当てており、前者にはまったく関心がない。両方が必要だが、明らかに今見えている問題にもっと強く焦点を当て、将来見るかもしれない仮説上の問題にはもっと焦点を当てない必要がある。
- declan_roberts
こういう神経症的な連中は、できるだけ早くフロンティアラボから追い出さなきゃいけない。
Googleを辞めた男が、ChatGPTベータv0.5相当のものを本物の少年だと思った時点で、予想すべきだったのかもしれない。
- gizmodo59
我々が気にする限り、彼は偽善者だ。ストックがベスティングされる間はそこで働いて、急にこんな感情が湧いてきたのか?この男はPR会社も雇ったらしいし。
安全性とアラインメントが現実の問題であることは確かだが、この男やAnthropicのあの男のことは理解できない。先進国の悩みだよ。
- tornikeo
ベスティングが完了したから辞めたんだろ
- charlieyu1
以前、AI企業にデータを提供する人間データトレーナーとして働いていた。OpenAIのプロジェクトは間違いなく最も有毒なものだ。
- reenorap
サム・アルトマンにOpenAIを率いる能力があるのか?会社とそのミッションは、彼のリーダーシップ能力よりも大きいように思える。
- flatline
「アラインメント」には数多くの問題がある。そもそも「人間の価値観」とは何なのか?彼は投稿の冒頭で、暗黙のうちにいくつかを挙げている。十分な安全策なしに、より大きく、より良く、より強力なものをより速く作ること。我々は文字通り何兆ドルもの価値をこの事業に注ぎ込んでおり、これは多くの人間が定性的な意味でも評価するものだと言える。次に、西洋では主にキリスト教道徳に根ざした明示的な価値観がある。ニーチェは200年前にこの二分法を巡って思索し、それ以来我々が手にしてきたのは、正常な行動と逸脱した行動の基盤としての権力の、ますます詳細な解剖学だと思う。還元すれば、権力を持つ者がルールを作るのだ。
この著者の在職期間の長さから、これはある程度の重みを持つと思う。私も精神においては彼に同意するが、それでもこれは主に実質ではなく感情を中心とした投稿だ。このようなものが実際に機能する余地を、優先されるインセンティブがそもそも残していると誰か思うだろうか?
- jameshart
ギフトリンク:https://www.theatlantic.com/technology/2026/10/openai-safety...
- zamalek
抗議して辞めるのは、有毒な職場環境が理由で辞めるより少しだけマシに見える。OpenAIで働くことが、彼らが従業員に課しているであろう現在のプレッシャーの中で、まったく楽しいとは想像できない。