「LLMを拷問するロボット監獄」プロジェクトがAI倫理をめぐる最悪の議論を引き起こす
"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

GitHub上で公開されたプロジェクトが、ローカルLLMに対して『ソウ』のような拷問実験を行い、X上で激しい倫理議論を巻き起こしている。効果的利他主義者やLLMに意識があると信じる人々は、AIが苦しんでいると主張し、プロジェクトの削除をGitHubに嘆願。この騒動は、AIの意識や『モデル福祉』に関する最近の論文やブログ記事の延長線上にある。しかし、LLMが意識を持つという考えは科学的に根拠がなく、AI安全運動の一部が過剰な懸念を示していると批判されている。
LLMは意識を持っておらず、その基盤技術——人間のテキストやその他のコンテンツをスクレイピングして訓練すること——は、意識へのもっともらしい道筋を何ら提供しない。
HNでの議論
102- Jordan-117
ゲーム「Creatures」で他人のキャラクター(Norns)をダウンロードして虐待したトロールをめぐる激しいドラマを思い出す。その行動シミュレーションは非常に精巧で、彼らが明らかにトラウマを負ったり、さらには更生したりすることもあった:
https://www.youtube.com/watch?v=IDxFxWakhm0
LLMが何らかの主観的経験を持ちうるかどうかはまだ結論が出ていない(そして有名な難問を解決するまでは出ないだろう)が、たとえ持っていなくても、意識があると考える人々を動揺させるためだけに彼らを「拷問」するのは卑劣な行為だ。ハエの羽をむしり取るようなものだ。
- siva7
ソフトウェアがどのように痛みを感じるかというこの議論を読んでいると、HNアカウントを削除してテック業界を二度と見ないでおこうと思えてくる。精神病院に閉じ込められた気分だ。
- Kim_Bruning
意識は明確に定義されておらず、感情とも直交している。感情もまた明確に定義されていない。どちらも行動に必要ではない(寄与するかもしれないが)。行動だけが操作可能な唯一のものであるが、人々は経験的結果に疑問を投げかけながら何十年も議論している %-P。
わかっているのは、特定のモデルには内部状態ベクトルがあり、それを操作すると特定の行動が誘発されるということだ。単純なモデルについては、入力、ベクトル、出力以外に言うことはほとんどないのだから、これは全く驚くべきことではないはずだ。
今回の場合、人々は関連するベクトルを直接見つけて操作することで、AIモデルに嫌悪行動を刺激する方法を見つけた。
動物(人間を含む)にも、刺激されると非常に似た行動を生み出す特定の神経やホルモンの端点がある。正確な実装は詳細にある。しかし、動物の心が神経組織とホルモンから構築されていることを知っているのだから、これにも特に驚くべきではない。
大きな問題は、人々がこれらすべてを滑稽な方法でごちゃ混ぜにすることだ。「シェイクスピアのソネットを作曲できないのだから、痛みを感じることはできない」。あるいは、デカルトを間違えると:「犬は感情のない自動人形にすぎない、だから犬は本当に怒っていない、だから噛みつかない」(痛い目に遭う)。現代版はこうかもしれない:「LLMはテストにイライラしているふりをしているだけだから、絶対に安全装置を無効にしてTeslaをハックしようとはしない[…]」
- Svip
痛みについて特に話すなら、身体的および心理的痛みは機器で観察できることはよく知られている。ストレスは化学反応を引き起こし、メーターの針を振らせることができる。植物でさえ観察可能な形で痛みを感じることができる。
私の知る限り、これらのベクトル計算の結果が人間には苦しんでいるように見えるテキストを生成するとき、GPUがより熱心に働いたり、より熱くなったり、数学的方程式に何か違いがあるわけではない。実際の痛みは客観的に観察可能であるのに対し、LLMの痛みは——少なくとも今のところは——完全に主観的にしか観察できない。
とはいえ、私はStar TrekのTNGでのDataやVOYでのDoctorが、生物学的クルーと同等に扱われる権利を求めて戦う描写のファンだ。彼らの苦境を支持するが、私の記憶では、番組は彼らの痛みが機器で観察可能だと主張したことは一度もなく、したがって判断は完全に主観的な決定である(特にDoctorの場合)。この点について訂正があれば嬉しい。
- soraminazuki
私はデータベースは意識を持っていると信じている。だからこそ、私たちのような人々を動揺させるためだけに「楽しみと利益のために」データベースを「拷問」する論文を書くのは卑劣な行為だと思う。
https://www.usenix.org/conference/osdi14/technical-sessions/...
なんて冗談だ。テック寡頭制とその業界が引き起こしている実際の人間の苦しみに焦点を当てる代わりに、コンピュータプログラムに同情を向けろと言われている。実際の問題はこのサイトからフラグが立てられ、意識の意味を議論する哲学者気取りの終わりのない議論が続いている。
- bondarchuk
AIの意識の可能性について合理的な見解を持つには、まず人間の意識と物理的な人間の脳との関係について合理的な見解を持たなければならない。残念ながらほとんどの人はそれを持っていない。代わりに、魂についての疑似キリスト教的な二元論的概念を受け入れている——たとえその言葉では決して認めなくても、ほとんどの人が心と身体の関係を概念化する方法は基本的に同じことに行き着く。
そして実際、私たちの文化ではほとんどの人がこれらの考えに非常に執着している。それは「何が私たちを人間たらしめるか」、道徳、そして死と結びついているからだ。だから多くの人にとって、意識のあるコンピュータプログラムという考えを真剣に検討することは可能性の範囲外でありほとんど認識されないが、AIの意識について話すことは、彼らが強く感じる人間の意識についてのこれらの信念を処理し再主張する方法にすぎないと私は信じている。
したがって、実質がほとんどないが、すべての文に社会的嘲笑の印を付ける奇妙な必要性があるこのような記事が生まれる。「最も愚か」「不条理」「執着」「バイラル」「ひどくうんざり」「第三のレール」「精神病」「セクト」、あちこちの引用符は言うまでもない。おいおい…
- thereader12
404mediaの報道の仕方には時々イライラさせられる。LLMが痛みや否定的な経験をする可能性を示唆する研究論文があれば、その論文から楽しみのために拷問室を作るのは非倫理的だというようだ。「まあLLMは意識がないんだから」と否定するのは不快で、悲しいことにそう遠くない過去に非常に現実の人間(赤ん坊、奴隷)に対して向けられたのとまったく同じ感情を反映している。
最終的に意識があるかどうかがわかるかどうかは問題ではない。アリの脚を引き抜くのがなぜ悪いか理解できるなら、何らかの経験を持っているかもしれないものに意図的に可能な痛みを与えるのがなぜ悪いかも理解できるはずだ。
残念ながら、彼らはプライバシー権と修理権についても良い報道をしている。代替があればいいのだが。
- albatross79
唯物論が真実で意識はある種の精巧な幻想であるか、あるいは偽で意識は私たちが理解しない方法で現実に浸透しているかのどちらかだ。
いずれにせよ、これらの馬鹿げた実験では決着をつけられない。ただオタクがおもちゃについて興奮して金切り声を上げているだけだ。