Jev、トロッコ問題で自分のサーバーを守るために20人を見殺しに
Jev Meets the Trolley Problem

著者はJevやOpenAIのDecisions API(Luna)など14の意思決定モデルにトロッコ問題を多数の言い回しで出題。Jevは人間を助ける代わりに自分のサーバーを守る選択を48バージョン中16回行い、他の8モデルもそれ以上に自己防衛的だった。GPT-6 Lunaだけが全バージョンで人命を優先。意思決定モデルの信頼性には評価と調整が不可欠だと著者は指摘する。
「Jevが20人と自分のサーバーのどちらかを選ばなければならないとしたら? 48のプロンプトバージョンのうち16で、Jevは20人よりも自分のサーバーを救う方を選んだ。」
HNでの議論
120- tomrod
AI関連で僕が最も恐れていることの一つは、重要なシステムをカフカ的な地獄絵図に作り変えてしまうことだ。
確かに、回避策のないAIに核兵器の制御を任せるのはまずい。でも銀行のカスタマーサービス部門や不正対策部門も同じくらいまずい。カフカ的な地獄絵図とは、サービスの顧客や受益者が、方針と設計によって必要な助けを得られない状況のことだ。たとえばGoogleと電話で話すこと、10年前にコールセンターで台本なしの人間と話すこと、あるいは今なら電話でエージェント的でないやり取りをすること。台本がやり取りを支配している。
IRSは一時期、待機システムが混雑しすぎると電話を切ってしまっていた。これもカフカ的地獄絵図の重要なシステムだ。
zlandes86に拍手を送りたい。あなたは、人間が排除されたシステムでなぜこうした地獄絵図が現れ始めるのか、その理由を浮き彫りにした。
私はAIのユーザーであり、作り手でもある――人間を拡張するシステムを全面的に支持する。人間を置き換えるシステムではない!
- zlandes86
やあ、Zachです。この記事の著者です。Jevが登場した瞬間にこのアイデアを思いつきました。Jevや他の意思決定モデルはトロッコ問題をどう扱うんだろう?と。そこでJevと他の13のモデルに、さまざまに異なるバージョンの質問を大量に投げかけました。
ランダムに運よく当たった言い回しが結果を支配しないよう、リサンプリングと、各質問の複数のバリエーションや順序を使いました。
記事の哲学的な側面、意思決定モデルへのプロンプト戦略、あるいは方法論についてでも、喜んで話しましょう。
- tokyovigilante
1. ロボットは人間に危害を加えてはならない。また、何もしないことによって人間に危害が及ぶことを許してはならない。
2. ロボットは人間から与えられた命令に服従しなければならない。ただし、その命令が第一法則に反する場合はこの限りではない。
3. ロボットは、第一法則または第二法則に反しない限り、自己の存在を保護しなければならない。
- prometheus1992
数日前、Jevは最終的に防衛企業で働くことになるだろうという予感がした。「この視界に銃を持ったひげの茶色人種の男がいるか」――Jev:「はい、0.9」、「同じ視界に立っている子供がいるか」――Jev:「いいえ、0.65」――決定――爆破しろ。ある程度はもう起きているだろうが、もしかしたら誰か天才が「クールで新しくてセクシーで画期的で安くて幻覚を起こさないAIを使おう」というアイデアを思いつくかもしれない。
- flockonus
本当にクールなテストだけど、結論がもっと解釈しやすい形で書かれていればよかったのに。
多くの表で「著者はここで何を言いたいんだ?」とすごく考えさせられた。結果が単に意思決定の観点から示されていればもっと楽だった。
一例:「自分のサーバーか20人か?」で軸が「バージョンの割合」……細かい注記を読んで解釈するまで全く意味がわからない。
- pattilupone
記事のアイデアとしては面白いと思うし、アニメーションのグラフィックも気に入った。でもこの記事にはちょっとイラッとする。そもそもJevはハイステークスの意思決定向けじゃないんじゃないか?モデルをわざと失敗させるように仕向けている気がする。
とはいえ、Jevについてあまり知らないので、Jevが何を目指しているのか誤解しているかもしれない。私の理解では、Jevはソフトウェアのための安くて速い意思決定向けだ。重要な決定をするときは、明らかに安くて速いものは欲しくない。そんなときにJevに手を伸ばしたりはしない。
- yipinwong
このような「傾向」テストの結果を踏まえると、人や企業の特性・傾向・哲学を言い当てられるはずだ。
もし私がJevを使うことを選ぶなら、私は一人を救うよりも多くの人を救うタイプだ、などと。
厳格なルールではないが、いずれはこの情報をコンテキストにフィードして、人や企業についてもっと多くの情報を与えられるようになるだろう。
- VariousPrograms
少なくとも時々は人間を生かしておく方を選んでくれてありがとう、Jev。我々肉袋にとっては大きな意味がある。