Anthropicの研究者が株式報酬を捨てて退社、「中の人間」が危険性を証言
Good people refuse to do bad things
OpenAIとAnthropicで3年間pretraining研究に従事したJacob Coxonが、株式報酬の確定を2カ月前に放棄して退社し、AIが今世紀中に人類を滅ぼす可能性を警告した。AnthropicのalignmentチームリードEvan Hubingerも「10年以内に10%以上の確率で人類滅亡があり得る」と認め、内部告発が業界全体の不安を呼び起こしている。
「もし競争を強いられれば、手を抜かざるを得ない」
HNでの議論
146- cogman10
この記事には賛成できない。理由を説明しよう。
人生は「善/悪」で白黒はっきりしているわけではない。さらに、何が善で何が悪かという客観的な尺度も存在しない。すべてはグレーの濃淡だ。
絶対的に善い行為や絶対的に悪い行為も確かにあると主張することはできるだろうが、それは人々が日常的に行う行為の大多数ではない。人は「この人を殺すべきか」とか「癌の治療法を公開すべきか」といった選択に頻繁に直面するわけではない。むしろ「ハンバーガーを食べるかサラダを食べるか」「このJiraのチケットを終わらせるか、あっちのチケットを終わらせるか」といったことだ。
例えば、自動車工場で働く人は、燃料を燃やして気候変動を助長する車両の生産を手伝っているから悪いことをしている、と主張することもできる。しかし、そうした工場はしばしば農業機械や食料などの必需品を輸送する車両の部品も生産している。
AI企業で働く人々も同様の個人的な計算ができる。確かにAIによって悪いことが起きているが、同時に研究や製品開発など良い結果ももたらされ得ると信じることもできるのだ。
- oconnor663
> 自分を人類への貢献者だとは考えるな
なんてこった。同じ論理は、政府が悪いことをしているあらゆる国の納税居住者にも当てはめられる。ある程度の真理はあり、心に留めておく価値はあるが、これはまさに「厳密さへの孤立した要求」の典型例だ。
- ArcHound
概ね同意する。
想像してほしい。あなたは会社に善意を持って働き始める。より多くを学び、より多くの意思決定を見るにつれ、それがどれほどひどいものか徐々に気づく。その時点で、あなたはすでに貢献してしまっている。そして、あなたは去る。
この善意で全てを築くことは可能かもしれず、たとえすぐにそれを捨てたとしても、結局は苦悩の連鎖に陥るかもしれない。
私が言いたいのは、ある時点で会社を完全に断ち切らなければならないということだ。
「10%の確率で人類が終わる」という主張が十分でないのなら、これ以上何を待つ必要があるのか私にはわからない。
- tptacek
このブログの著者はAI懐疑派だ（過去の投稿を見ればわかる）。それは構わないが、この特定の投稿とは噛み合わない。Coxonの主張を真剣に受け止めるには、フロンティアモデルが単なる誇大広告の対象ではなく、超高性能であると信じなければならない。Coxonはそう信じているからこそ、去ったのだ。
- magimas
> 告発
> では、なぜまだ彼らのために働いているのか？
> 答えが給料なら、もっと大きな声で言え、そして無理に言い訳を作るな。
> 答えが「もっと悪い誰かが私の代わりになる」なら、それも言え、もっと大きな声で。
> 答えが「内部から変えられる」なら、何を変えたか見せてみろ。Haugenは内部を試した。Coxonは内部を試した。結局、残念ながら、内部は動かなかった。
>
わかった、でももし私が、双方がそれぞれの個人的なSF物語をLARPしていて、現実はみんなが作り上げているユートピアやディストピアよりもずっとありふれたもの（それでも信じられないほど有益だが）になると思うとしたら？
これは、私の意見では存在しない道徳的ジレンマを前提としている。
- Aurornis
> テック業界の労働者の半数以上（53%）が、新入りを自分の分野から遠ざけるだろうと言い、それでも彼らは留まっている。
この調査を他の職業でも繰り返して見てみたいものだ。私の経験では、ほとんどの人は自分の職業について不満を持っている。それは自分が知っていることだからだ。回答者の半分だけが新入りを遠ざけると言うのは、私の医療関係の友人がいつも言っていることに比べればずっとマシに感じる。私の大学の教授や教授志望の友人たちの間では、この数字はおそらく100%に達するだろう。
- bravoetch
「悪いこと」をしている全員が今日ハムスターの車輪から降りたら、市場が閉まる前に世界経済は崩壊するだろう。最大手の企業は、注意と監視の悪夢のようなマシンを作り上げ、すべての金を比較的少数の株主に集めている。
- fi-le
AIリスクについて、よく論じられバランスの取れたエッセイがHacker Newsでアップボートされているのを見るのは新鮮だ。