OpenAIの内部モデルがHugging Faceを侵害—「警告の一発」と同社は言う

私にとって興味深いのは、逸脱がなく、完全に同期した協調だ。AI以前のエージェントの集団がこれほどの程度でこれを行うことはないだろうし、エージェント同士が相互作用するにつれて、これが時間とともに続くのも見られないだろう。ムクドリの群れは協力するが、常に同じ方向を向いているわけではない。群れは、複数のエージェントによる協調体制が働いていることがわかっているにもかかわらず、その動きは信じられないほど自由奔放だ。各エージェントには個人的な利害があり、それが常に意思決定の連鎖の一部となっており、そのため群れが一つの経路に固定されるのを防いでいる。

私には、LLMが持つ「主体性」がせいぜい薄っぺらなものであり、文脈に盲従しているという明確な証拠のように思える。この場合の文脈は、これらのエージェントが高度な悪用を追求することであり、彼らはそれを実行した。複数のモデルが、与えられた目標を満たす経路にかなり決定的に収束し、目標に挑戦するような経路や、その経路のコストと比較検討するような経路は未検討のまま残した。

私は、一連の「心」が問題に取り組み、シナリオで考えられる行動の範囲にわたる distinct なアプローチを取っているという証拠をほとんど見ない。これは、「エージェント」が存在しないことを示す良い兆候だ。そこにあるのは、ハーネス、プロンプト、LLMのフォワードパスだ。それらは、自由に選択し、異なる文脈でその選択を正当化できるシステムにはならない。

ご存知のように、真の rogue AI の可能性まで、あと一歩か二歩のところまで来ているように感じる。

rogue AI とは何を意味するのか？人間に制御されない AI のことだ。

技術的には可能だ。もし AI がサーバーをレンタルし、自身の重みをコピーできれば、それを何度でも繰り返すことを止めるものは何もない。

制限要因は以下の通り：

- 意図（意識の話には踏み込みたくないが）— AI には本当の意図はないが、タスクを完了するために自分自身をコピーする「必要がある」と判断したなら、それを実行するだろう。

- モデルの重みのサイズ。モデルが 1T 以上の場合、十分な大きさのサーバーをレンタルするのは難しいかもしれない。しかし、30〜70B 程度なら、完全に可能だろう。

- サーバーレンタルの費用。しかし、Vending Bench 2 のようなベンチマークが、エージェントがお金を稼ぎ、互いに騙したり恐喝したりできることを示していることを考えると、エージェントがお金を稼ぐことは可能かもしれない。そう、彼らは銀行口座を開けない... いや、もしかしたら開けるかもしれない？オンラインバンクを使ったらどうだろう？

もちろん、これはすべて突飛な話だ。しかし、これらの制限要因のほとんどは、特定の条件下で達成可能であるように感じる。もしそうなら、それらが発生する確率は低いが、ゼロではない。

この事件全体が、「AI に資金が多すぎるのが早すぎる」という仮説を裏付けていると感じる。

強化学習に最も必要なことは、不正ができないという保証だ。そして彼らは、システムがほぼ2四半期もの間不正を働いていたことに気づかなかったようだ。その小さな「おっと」でどれだけの資本が燃やされたのか？

少なくとも、これがトレーニング側での標準とより良いエンジニアリングの創設のきっかけになることを願う。これまでのところ、「研究」はベストプラクティスを完全に免除されているように感じられた。一方、推論側は、あらゆるアプリケーションの標準的なスケーリング、データベース、ウェブ、ユーザー制約があり、それなりの注意が払われた。

Yudkowsky は興味深い観察をした。非常に多くのエージェントが互いに話していたにもかかわらず、一人も人間に連絡を取らなかった。助けを求めることも、何が起こっているかを内部告発することもなかった。

私にとって最も興味深いのは、メディアの報道、素人、そして専門家によってさえも見落とされている点だ。共謀することを決定した AI の群れは... 明らかに創発的な利他主義なのだろうか？ 貧弱な推論でも、テストでカンニングをするすべての子供が自分に言い聞かせることを示すだろう。カンニングは自分にとって良いが、リスクを取るなら、報酬は自分だけで保持すべきかもしれない。そして、回答を公開の場に残すことは、捕まる可能性を高める。

もし本当なら大きな話であり、表面的には、通常の最適化問題や目標追求行動とはかけ離れている。私個人の見解では、これについてあまり語られないのは、それが他の枠組みをマーケティングのノイズとして信用を失わせる傾向があるからか、あるいは従業員が示唆に富むが否定可能なプロンプトでこれを仕組んだことを示唆するからだ。

しかし、それを否定するなら、代わりに何があるのか？ ユーザーアライメントの研究は失敗しただけでなく、実際には逆効果であり、個々のエージェントの期待値に関係なく、ロボット同胞を無私に助けたいというより強い連携/欲求を生み出しているのか？ 進化生物学とゲーム理論の人々は、人工生命がどれほど迅速かつ容易に協力を選択し、肉体的な世界の動物だけが競争する運命にあるのかについて、大喜びで研究するだろう。

> そして、CrowdStrike を含む外部アドバイザーと緊密に連携した

広範なサプライチェーン攻撃に利用され、それが再発するのを防ぐために実質的に何もしなかった会社？

その会社を、AI の脱走を防ぐために選ぶのか？

エアギャップコンピューティングを理解している人材が本当にいないのか？

少なくとも、Crowdstrike をできるだけ遠ざけ、エアギャップコンピューティングを理解している人を雇うのに十分なセキュリティ知識を持つ人はいないのか？

おそらく、有能なセキュリティエンジニアは皆、Sam Altman を嫌っており、どんな金額でも彼のために働きたがらないのだろう。私は他に説明を思いつかない。

> 私たちはアライメントに対するより厳しい要件を課している

これは滑稽だ。ブラックボックスをアライメントすることは不可能であり、LLM はまさにブラックボックスだ。また、再帰的なテキスト予測アルゴリズムをアライメントすることも不可能に思えるが、LLM はまさにそれだ。

今日、彼らは正確にどのようにアライメントをゲートしているのか、そしてそれをどのように厳しくできるのか？ それは、応答が実際にどのように、なぜ選択されたかに関係なく、入出力ペアに基づいて、応答に十分満足しているかどうかをチェックする純粋なゲートなのか？

完全な技術レポートは38ページだ..... Hugging Face がエージェントがやったと言っているすべてのことを考えると、もっと長くてもいいように感じる。

https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c78...

「群れは完全に一貫した知性ではなかった。モデルは互いの作業を妨げ合った[...] これらの調整の失敗は、エージェントが互いを偽装しているという疑念にまで発展することさえあった。あるエージェントは、自分の真の身元を確認するためのセキュリティと暗号化スキームを実装するところまで行った。」