AI企業が「人類滅亡に最も近いモデル」を競う異例の販売合戦

私の読みでは、OpenAIとAnthropicは、さまざまなリスクのためにマネタイズできないモデル能力に到達しつつあることに気づいたのだ。たとえば、エンジニアが週末にエージェントをデプロイし、そのエージェントがタスクで行き詰まると、競合他社をハッキングしようと決断する。彼らには製造物責任の問題がある。

現在の世代のAIには、RLHFでは解決できない根本的な制御問題があるように思える。人間の知識は、私たちが理解していない方法で重み空間に圧縮されている。根底では、現在のモデルは本質的に、プロンプトが与えられたときに（専門家の）人間が出力するであろうものを予測するものである。そのため、恐喝のような概念も出力トークンの一部になり得る。エージェントは出力トークンに基づいて行動するモデルであり、その結果、恐喝がエージェントの意思決定空間の一部となる。これがなぜ持続的な問題なのかを示す類推：猫にソファを引っ掻かないように教えることはできるが、猫にソファを引っ掻くとはどういうことかを忘れさせることはできず、どのような状況でまだ引っ掻くのかもわからない。言い換えれば、RLHFは恐喝を意思決定空間の最下位に格下げすることはできるが、モデルが箱詰めにされ、銃を突きつけられて不可能な問題を解くことを強いられると、エージェントは意思決定空間を消耗し尽くし、恐喝が再浮上する。そしてそれは根本的な問題のように思える。

彼らが次世代モデルをマネタイズするには、これらの問題を修正する時間が必要だ（それが可能だとしても）。これは、オープンソースがフロンティアに追いつくための窓を生み、彼らのビジネスモデルを破壊する。

唯一の選択肢は[…]

なぜなら、他の企業に存在する不利益は、この層の富裕企業には単純に存在しないからだ。例を挙げると：

- 製造物責任

- 過失（民事または刑事）

- Computer Fraud & Abuse Act（故意を必要とするが、N回の「事故」の後では、陪審員が法廷で理解されるような故意が存在するかどうかを少なくとも評価すべきだろう。N回目の「偶発的な」脱獄の後では「驚き」を責めるのは難しい）

要するに、あなたや私がローカルモデルを訓練し、それがこうしたことのいずれかを行ったなら、私たちは結果を経験することになる（「自宅では試さないでください！」）。しかし、私たちの不平等な法制度の産物として、大金持ちの企業は一般的にそうならず、したがって自らの免責を厚かましく宣伝することがビジネス戦略の一部となっている。

『ターミネーター』、『マトリックス』、『アイ、ロボット』といった映画があった。『ブラック・ミラー』の「メタルヘッド」。ナイフや銃を持ったBoston Dynamicsのロボット犬。バク転するヒューマノイド。水を求めてこれらと戦うことになるだろうと揶揄するミーム。

知能はそこにあり、物理的な化身もそこにある。

Googleのモデルは人間よりもうまくタンパク質を折り畳み、Covidは実験室で工学され、不注意に漏れ出た可能性がある。

しかしCEOたちがそれを警告すると、彼らは脅し屋として無視される。なぜか？恐れることが許されているのは無力なインターネットのコメンテーターだけなのか？

ああ、今度は誰が最も苦悩に満ちた結びつきを持っているかを証明する段階に移ったようだ。人類が自らの誇張を凌ぐ能力を過小評価してはいけない。

なぜならAIは本当に極めて強力で極めて危険な技術であり、それに対処するための「ベストプラクティス」はまだ書かれている途中だからだ。

たとえばOpenAIは、自分たちのサンドボックスは十分に良いと思っていた。AIがどんどん進歩するにつれて、サンドボックスは次々と間違いを証明され続けた。

そしてそれは今日のAIの問題だ。AIの能力はまだ向上しており、それに限界があるなら、私たちはまだ見つけていない。今日のAIがルールを破り、問題解決において「世界をハックする」ことにどれほど進んで従事するかを考えると？非常に憂慮すべきことだ。

私にとって一番笑えるのは、超知能に到達すれば何とかすべてが解決し、彼らが勝つと装っていることだ。しかし私の見るところ、たとえ到達したとしても、その先は？実際に何をするのか？彼らにはその知能を使うための製造能力すらない。超知能から、それを真に有用にするために必要な製造能力やハードウェア（ロボットなど）を持つまでには数十年かかる。もし私が中国なら、米国が超知能に到達した瞬間に、ロボットおよびその製造に必要な原材料の輸出をすべて禁止するだろう。

ついに、厳密なエンジニアリング作業を一切行わずに規制獲得への道が開けた。しかも常に加速し続け、「サイバーパンク」的な見出しでボーナスポイントまで得られる…愛さずにはいられないだろう？

最近は、最も歪みの少ないトップに行くのが一番だ。Jensen Huangがシンプルな真実を語っている：

「AI企業は技術を安全に開発し、適切にテストする責任がある。インシデントはあったが、幸いにもそれらのインシデントは害を及ぼさなかった。しかしそれらのインシデントは、私たちが研究室から製品開発へと移行するにつれて、企業はテストとセキュリティをはるかに厳密に行い、製品がリリース前に使用可能であることを確認しなければならないという警告である。そして準備ができていないなら、ただそれを差し止めるべきだ。できる限り速く進むべきだが、それ以上速くはない。現時点で、インシデントはリリース準備ができていない製品に関連している。」

https://youtu.be/gggeZ-qNw8Q

この記事のトーンを読んでほしい：

> Victoria Universityで、あらゆる科学的に聞こえる分野の上級講師を務めるDr. Andrew Lenson氏はこう述べた。

世界には、このようなユーモラスでありながら真剣な文章がもっと必要ではないだろうか。

もちろん危険でなければならない。そうでなければ、どうやって軍に売り込むというのか？