AIラボが「フロンティアのペース配分」を口にする本当の理由

IQがものを言う分野で働けるほど知的な人々が、他の誰よりもレトリックやイデオロギーに簡単に操られるのは、いつも奇妙に思っていた。

子供の頃、誰もがゲーム理論の何らかの側面を直感的に理解するだろうと思っていた。ゲーム理論が存在することを知った日を今でも覚えている——誰かが常識をうまく体系化したと知ったようなものだった。

ほとんどの人は、人が言うことを検討に値するかのように受け取る。コストのかからないシグナルは、発信者が愚か者に信じさせたいことを知るための知識としてしか役に立たない。

> AIを構築する人々の動機は、ラボの責任者たちのそれとは同じではない。ここ数年を見ると、OpenAIからAnthropicへの一方通行の扉があり、主な理由はより良い報酬や彼らが勝っているからではなく、主にこの魔法のランプを構築する際に最も慎重になるとこれらの従業員に宣伝した事実にあるようだ。2023年/2024年頃の彼らのスタンスは、この人材を惹きつけることができた主要な理由の一つだった。

> 最近のニュースを信じるなら、今日でもAnthropicの文化はこの効果に大きく依存しているように見える

> 私の意見では、超知能によって人類が滅びることをしばしば非常に心配している最高の人材を獲得し維持する上で、これが主要な要因だった

この視点は考えたことがなかったが、非常に納得がいく。多くのAnthropicの従業員は本当にこれを信じており、そこで働く主な理由として安全性への強調を挙げている。今や、Darioの投稿「Pacing the frontier」はさらに意味が通る——それは世界の他の人々のためであると同時に、彼の従業員のためでもあるのだ。

この記事は、何もなされていない、実際の努力はなされていないと主張する冒頭から完全に欠陥がある。「2003年のCAISS声明の後にどのような努力がなされ、どのような安全策が講じられたか？」を素直に検索してみればいい。

また、問題に対する予防的な取り組みや介入への多くの批判に見られるのと同じ推論の誤りを示している。

取り組みが始まった時に問題の軌道がある地点にあったからといって、彼らが望むタイムラインや成功基準で解決されていないというだけで失敗したと仮定したり、そうでなければ起こったであろうことから意味のある変化がなかったと仮定したりすること。

難しい問題があり、異なることを試す必要があるかもしれない、あるいは試みられたことが部分的なもので完全な解決ではなかったかもしれない、と認識することはどうなったのか？

この記事は、AI CEOたちの主な動機は、従業員向けに正しい決まり文句を繰り返すことで人材を維持することだと言っている。OpenAIにとってそれは「我々のものは強力すぎて、我々自身が恐れている…規制が必要だ！」であり、Anthropicにとっては「これはやばい！手に負えなくなるかもしれない！我々が善玉で、この戦いには銃を持った善玉が必要だ」だ。

しかし、両者とも同じことを考えていると思う…「このペースでは金が尽きるぞ」と。

しかし！もし一方が先に目をそらして金の蛇口を閉めれば、もう一方に遅れを取るかもしれない。遅れを取ることは永遠に負けることだ。そしてCEOが嫌うものが一つあるとすれば、それはライバルCEOに負けることだ。

だから彼らが望むのは、誰でもいいから、ライバルと自分を同時にブレーキをかけさせ、両方が負けずに生き残れるようにすることだ。その新しいルールの下では、彼らは勝てると確信している。そして勝つとは、他のAI CEOを打ち負かすことだ。

それだけだ。いつも個人のインセンティブの問題だ。安全性のくだらない話はやめろ。こいつらはただ勝ちたいだけだ。