AI Safetyの中心はBerkeleyのセックスカルトだと批判される理由

残念ながら記事は読めない（削除された）が、dangが共有した元ネタの一部は読める：https://news.ycombinator.com/item?id=49737985

これには興味深い要素がたくさんあると思う――Yudkowskyが極端な見解を持っているのは確かだし、このコミュニティにポリやオープンな人々が大量にいるのは明らかで、Yudkowskyや一般に「合理性」に対して宗教的な崇拝を抱く人もいるし、鼻持ちならない連中も混ざっている。しかし、そのどれもが運動全体への否定的な批判だとは思えない。啓蒙主義、プロテスタンティズム、ビートニクスにも同じことが言えたのではないか？ 周縁化された見解、自由な表現、新しいアイデアはしばしば一緒に現れるもので、それは明らかなパターンだと感じる。誰かが望まない状況に強制されない限り、この組織に性的にリベラルな人々が大勢いようと、狂信的なファン崇拝があろうと、私は気にしない。彼らは好きなように生きればいい。それは非常にポジティブで、ますます希少になっている意味で、まさにアメリカ的だと思う。逆に、この運動から生まれた多くの影響には私も満足している。GiveWell、Long Now、Scott Alexander、Works in Progress、Open Philanthropyなど、ほんの一部を挙げるだけでも、この運動が生み出した／影響を与えたことに本当に満足している。最新のAI進歩を生んだように見えるのも嬉しい。もちろん、馬鹿げていると思うものもある（hpmorはあまり好きじゃなかったし、彼らのフォーラム掲示板はやや馬鹿げているし、Rokoの［…］

これが削除されたのは極めて腹立たしい。なぜなら、過去10年間に公の場に現れて以来、合理主義／EA／その周辺グループを追ってきた者なら誰でも、これが真実だと知っているからだ。そして、これがもっと広く理解されていればと本当に、本当に願っている。

記事はもう消えている。

著者による投稿：https://bsky.app/profile/segyges.bsky.social/post/3mwc2eopu6...

>> 先の記事についてお詫びします。適切な法的レビューを受けていませんでした。しばらくソーシャルメディアには出られません。

AIの負の側面に関しては主に2つの学派がある。一つは終末論的で、SF文学に見られるような実存的な脅威に焦点を当て、そこに描かれた警告そのものに大きく影響されている。もう一つは「社会リアリズム」と呼ぶべきもので、自動化の導入とそれがもたらした移行の影響を実際の過去に照らして考察する。

「AI safety」運動は主に一方の側――終末論的な側――への答えだ。Yudkowskyのようなドゥーマーとその仲間はあちらで人気だ。彼の最新の著書が、ありそうにない「解決策」を含めてSFのように読めることに注目してほしい。これらの人々はファンタジーの世界に住んでいる。これはp(doom)=0と言っているわけではないが、核兵器の導入以来、それが非ゼロである状態で我々は生きてきた。そこではほとんど何も変わっていないと言える。

社会リアリズムの側から言えば、このモデルは、このサイトによく投稿されるような現実世界の悲惨さ――知的労働者の生計とテロスが自動化によって否定される――まさにそのものとよく一致する。「AI safety」の売り手たちは彼らのことなど気にしない。我々の貢献能力が無効化されたとき、社会の中で意味のある生活を維持するための空間を確保しようという呼びかけは、そのコミュニティからは一切ない。AI safetyのファンタジーにはその余地がない。彼らは想像上の悪魔を追い払うのに忙しすぎる。だからこそカルト的な行動になるのだ。