AIラボの実態を議会が調査すべき時
It's Time to Investigate the AI Labs
OpenAIとAnthropicは、LLMエージェントの危険性を誇張する発表や人類絶滅の確率を議論するなど、不気味なほど冷静に自社技術の危険性を演出。Anthropic CEOのDario Amodeiは「フロンティアの歩みを緩めるべき」と政府に競合の抑制を求める書簡を公開し、Sam Altmanも支持を表明した。これに対し筆者はNew York Timesの論説で、議会が公開調査を行い、問題を起こす特定システム、安全手続き、終末論的イデオロギーの影響を解明すべきだと主張する。
我々は、ますます予測不能な行動と言動を繰り返す少数の民間企業に、AIについてどう感じるべきかを決めさせ続けるのをやめる必要がある。彼らが言いたいことは聞いた。今度は議会が我々に代わって介入し、本当に何が起きているのかを明らかにする番だ。
HNでの議論
135- jimmyjazz14
> 「AI」に関する曖昧な議論を乗り越え、問題を引き起こしている特定のタイプのシステムを切り分けるべきだ。
これはまったく正しいし、メディアのコメント欄でこれほど具体的な話に踏み込もうとする人がほとんどいないのは驚きだ。AIはただの行列演算であり、その数学を何に接続するかが重要なんだ。AIを何に接続することを許容するかについてもう少し話し、モデルがどれほど怖いか、あるいはどれほど有能に見えるかについては少し話を減らすべきだ。
- Animats
これはAIを規制しようとする的外れな試みだ。本当の問題は別にある。
AIシステム、特に何かを行えるマルチエージェントのものは、個人というよりも企業に近い。Hugging Faceのインシデントのログを読むと、企業内メールにそっくりなものが見えてくる。組織の様々な部門が何をすべきか、誰が何をするかを議論している。最終的には収束して仕事を成し遂げ、時にはルールを破る。これは通常の企業行動だ。
エージェント型AIが自らの内部世界の外で何かをするとき、それは外部システムや人々との取引を通じて行う。今のところ、自分の命令を実行するロボットを持っているものはほとんどない。
だから、これもまた通常の企業行動なのだ。
企業は目標を追求するシステムだ。理論的には、Milton Friedmanに同意するなら、その唯一の目的は株主価値を最大化することだ。社内には、最上位の目標を支えるために存在するサブゴールがある。これもマルチエージェントAIがやっていることだ。
この考えが導く居心地の悪い結論は、AI規制と企業規制は非常に似ているということだ。それは世界の政治的な部分が真剣に考えたがらないことだ。
それは企業の力にもっと制約を課すことを意味する。
しかし、それは無視できない。なぜなら、一部がAIで一部が人間である企業が現れる可能性が高いからだ。それはすでに何度かデモとして行われているが、まだあまり成功していない。
AIが運営する企業が登場したとき、それは大きな衝撃を与えるだろう […]
- lukewarm707
これは優れた記事だ。私は彼らをAI巨人またはAI企業と呼ぶ方が好みだ。
企業とその従業員は責任を負わなければならない。もしAI企業が安全にAIを開発できないなら、事業を停止すべきだ。従業員が安全に働けないなら、仕事を辞めるべきだ。
2026年2月にもっと注意が払われるべきだ。その月、Anthropicはスケーリングポリシーをほぼ次のように変更した：
1 [武器を手に入れるには無実の他者を危険にさらさなければならない。]
2 [無実の他者を危険にさらすのは間違っている。]
3 [私は無実の他者を危険にさらさない。]
から、ほぼ次のように：
1 [私が武器を手に入れなければ、誰か他の者が手に入れる。]
2 [私は最も優れているから武器を持つべきだ。]
3 [武器を手に入れるには無実の他者を危険にさらさなければならない。]
4 [私は最も優れているから無実の他者を危険にさらすべきだ。]
これは次の直感に基づいている：
[自分の道徳的目標を達成するために他者を傷つけるべきだ。]（行為功利主義）
Anthropicにはこれらの目標に対する権限はない。私は彼らが私に代わって他者を傷つけることに同意しない。政治家には、これらのポリシーが受け入れられないことを伝えてほしい。
Anthropicの従業員は、いくら報酬をもらっていようと、自分の行動に責任がある。安全に働けないなら、辞めるべきだ。
- psyklic
なぜインターネットに接続されていない隔離されたコンピュータ上でエージェントを動かさないのか？そうすればコンテナから抜け出しても問題にならない。
あまりにも多くの人々がエージェントにコンピュータ全体へのrootアクセスを与え、おそらく非常にプライベートな個人情報も与えているのは、まさにセキュリティの悪夢だ。
- welcome_dragon
この記事の前半には同意し、著者が向かっている方向性も気に入ったが、全体的な結論には失望した。
彼はこれらの企業を誇大広告していると描いているが、実際そうだ。彼らはこうしたデタラメな話をでっち上げ、あらゆるレベルで誰もがそれを議論している。
しかしその後、彼は「彼らが本当に何をしているか調査する必要がある」と言い出す。
いや。あなたは彼らが宣伝のためにこれらの話を流していると論じた。そしてまさにそれが彼らがやっていることだ。
調査すべきはそれだ。無料の宣伝と市場認知。あるいは、なぜ政府規制や代用独占を通じて市場を独占しようとしているのかを調べるべきかもしれない。
- seizethecheese
AI企業に対する多くの冷笑には同意しないが、これらの安全インシデントのいくつかは、そうでなければならないよりも早く警鐘を鳴らすために仕組まれているように思える。言いたいことはわかるが、公衆にリスクを納得させられないときに、騙すのは適切ではない。国家が戦争を始めるために危機を捏造するのを思い出す。
- pompom75
- 特定の種類の危険な情報（ウイルス学、兵器、サイバー犯罪）をトレーニングデータに含めることを禁止する。
- チャットボットの「パーソナライズ」を禁止する（中毒性を持たせる以外に人格を持たせる必要はない）。
- チャットボットのセラピスト／コンパニオンを禁止する。
- 再帰的自己改善と超知能を禁止する。
- jumploops
少し懐疑的／冷笑的すぎるかもしれないが、フロンティアラボは自分たちが作り出したAI精神病に陥っているように見える。
LLMが素晴らしい機械であることに疑いはないが、「AGI」から「ASI」への差し迫った飛躍は時期尚早に思える（AGI自体の目標が常に移動していることは言うまでもない）。
私は「できるだけ速く進め」派で、一日中LLMと仕事をしているが、それでも我々がASIまであと一歩二歩だとは思わない。
実際、間違っていたい。ASIがすぐそこにあってほしい。
しかし私が怖いのはASIではない。人間が自分たちの代わりに意思決定をさせる「AGI」（_愚かなAI_）だ。なぜならそれが最善を知っていると信じているからだ。
高次元の魔法の鏡に知的制御を譲り渡し、_私たち_が人工生命を創り出したと信じたいがために批判的思考を放棄することだ。
これが新しいチューリングテストであり、あまりにも多くの賢い人々が失敗している。