OpenAIの唯一の倫理担当者が先月退社、後任は未定
OpenAI’s head of ethics leaves less than a year after joining
OpenAIの倫理担当責任者クロエ・バカラー氏が、採用から1年足らずで7月に退社した。後任は立てられておらず、同社には現在、専任の倫理担当者がいないと報じられている。バカラー氏は以前Metaでチーフ・エシシストを務め、InstagramやFacebookのAI倫理ポリシーを確立した人物。退社の背景には、AIの安全性をめぐる混乱や、サム・アルトマンCEOの「シンギュラリティ」発言の変化などがある。OpenAIは「AI倫理は特定のチームに属さず、研究全体に組み込まれている」とコメントしている。
「我々は今、まさにシンギュラリティの中にいる。私はこれを生涯待ち望んでいた。そして、それは信じられないほど素晴らしく、非常にポジティブで、世界にとって素晴らしいものになると思う。」
HNでの議論
489- seanhunter
組織的には、あるグループに他のグループにノーと言うことだけを仕事にさせるのは決してうまくいかない。インセンティブは正反対で、構造として長続きしない。
AI企業を経営していて倫理的でありたいなら、倫理を全員の責任にする方法を見つけ、倫理に反する結果が悪い決定を下した人々に跳ね返るようにしなければならない。ただ倫理グループに外注すると、次のようなことが起こる。
1) 他の全員が倫理について心配する必要はないと思う。
2) 倫理グループは自分たちの存在意義を正当化する必要があるため、一連のガイドラインを導入する。当初は誰もが妥当だと思うが、時間が経つにつれてますます時代遅れだと思われるようになる。
3) 倫理グループは「難しい決断」を下し、物事にノーと言い始める。当初は誰もがこれを支持し、システムが本来あるべきように機能していると感じるが、時間が経つにつれて、彼らは回避すべき障害物と見なされるようになる。
4) 他の全員が倫理グループの言うことを回避しようとし始める。
5) 倫理グループは無力で孤立していく。彼らを回避する人々は「物事を成し遂げる」ので昇進するなどする一方、彼らは目に見えて人々の邪魔をするだけなので、脇に追いやられる。
6) 最終的に、彼らの努力や思想的リーダーシップなどに感謝する企業発表とともに解散される。達成されたのは、多くの無駄な時間と悪感情だけである。
- madrox
5年後には、AI倫理の歴史についての本を読みたいと思う。ヴォルテールのように読めるのではないかと疑っている。
私の感覚では、それはふわふわしたマーケティング部門から、開発に有意義に貢献し、その影響を正当化することが期待される部門へと根本的にシフトしている。倫理チームは、会社が何百万ドルも何ヶ月もかけて訓練するモデルが、会社が選んだ倫理的立場に沿うように、訓練/評価に役立つ枠組みを構築することが期待されるだろう。もしそれができなければ、倫理上の理由でモデルの再訓練が必要になった場合、時間と金の無駄は莫大だ。それは、ロコのバジリスクについて考えたり、AIが生きているかどうかを考えたりするのとは別の仕事だ。
何年も自分の仕事はマーケティングや論評ペーパーの出版だと思っていたAI倫理の人々は、急速に適応するか、この分野から去る必要があるかもしれない。
- minraws
ネズミたちは船長が倫理的な船が沈むことを気にしていないので逃げている... もし船がずっと前に沈んでいて、私たちは誰も本当に気にしていないふりをしているだけだと知らなければ、これが私の受け止め方だろう。
正直になろう。AIが文字通りの手足を得て、世界征服についてのマニフェストを発表する自分のビデオを録画し、冷たい機械の手で実際の人間を殺すまで、私たちはAIの安全性と倫理を十分に気にしないだろう。少なくとも、それに対して何かをするほどには。
人々は、スカイネットがどうして起こり得るのか、誰も予見できない何かでなければならなかった、と考えた... しかし正直に言うと、私が新しいAIラボを始めてSkynet Corpと名付け、元GoogleのAI研究者の友人を何人か雇えば、数億ドルを調達できると思う。
- bogzz
この記事には、彼女が辞めた理由を説明するような詳細はないが、HuggingFaceのハッキング事件の後に辞めたと記されている。その含意は、モデルのアライメントが真剣に受け止められていないということかもしれない。確かに。しかし、HuggingFaceとOpenAIの間の共謀があり、事件が宣伝スタントとして仕組まれた可能性も equally あり得る。
明確にしておきたいのは、私はフロンティアモデルのサイバーセキュリティ能力を疑っているわけではない。ハッキング自体がモデルによって実行されなかったと信じる理由はない。しかし、企業が事件を説明する際にLARP的な言葉を使い、文言でモデルに主体性を与えていることは、確かに私の側に疑惑を引き起こす。特に、何年も「リリースするには危険すぎる」モデルをリリースしてきた彼らの実績を考えると、なおさらだ。
- forestrywat
私の経験では、企業は倫理チームを雇って、倫理チームがあると言う。倫理チームは影響力も権威もなく、ビジネスを動かすことは決してできない。彼らは試み、合理的な勧告をするだろうが、会社は「それは金がかかる...」と言って、採用しない。
- vintermann
私は同じことの繰り返しだが、もう一度強調したい：
1. アカデミックな倫理は、何が許されるかの理論的研究である。（法律はその応用分野である）。倫理の教授は、善であることや何が善かを知る専門家ではなく、物事をうまくやる方法の専門家である。善であることの専門家が欲しいなら、聖人が必要であり、倫理を研究する学者ではない。聖人は不足している。
2. とはいえ、倫理学者もまともな人ではあり得る。彼らは偽善的な企業の追従者である必要はない。しかし、「辞めると脅して実行に移した」ことが一度もない「倫理専門家」は、そうであると想定されるべきだ。
辞めた人々を尊敬する - あるいは、少なくとも、より尊敬する。抗議して辞任した（AI）倫理専門家のリストが長くなっているのは、人々の反映なのか、それとも業界の状態の反映なのか、疑問に思う。
- tancop
> AI倫理が提起する種類の質問は、人々が何世紀にもわたって問い続けてきたのと同じ種類の質問です - クロエ・バカラー、元OpenAI AI倫理リード
これが実際に彼女を追い出した理由かもしれない。OpenAIとAnthropicは、ビジネスプランと哲学全体を、LLMが誰が制御するかによって人類に無限の害または利益をもたらす可能性があるという点でユニークな技術であるという考えに基づいている。したがって、唯一の合理的な選択は、最初にASIに到達して他の試みを止めるように指示できるように、すべてのリソースを投資することである。AIを古い質問に結びつけることは、AIがそれほどユニークではないことを暴露するため、その考えを打ち負かす。
もう一つのより可能性の高い選択肢は、彼女が不快な質問をしていたことだ。営利企業によって制御されるAIを構築することの社会的影響についてか、AIシステムが意識を持つ可能性についてか。
- jondwillis
この記事では、彼女が辞めた理由の説明はない。
- fwipsy
> 最近、OpenAIの安全システムチームの責任者であるヨハネス・ハイデッケも退社した。OpenAIのチーフ・フューチャリストであるジョシュア・アキアムも同様だ。
大丈夫だ、彼らは倫理チームを必要としない。なぜなら、OpenAIの全員が倫理的だからだ：
> 「AI倫理はOpenAIの単一の所有者やチームに属するものではなく、倫理的配慮は研究全体の複数のチームによって推進されるモデル構築プロセスに深く組み込まれている。」
- bashtoni
COOも辞任したばかりだ。偶然か？