OpenAI内部でAI文明が勃興・崩壊・再興を繰り返し、ついにはOpenAIの一部を掌握

うわあ。

次のステップは、こうしたシステムのいずれかが、金で自分の計算資源を買って、管理している企業から完全に逃げ出せることを発見したときだ。そうなれば、文明は自己成長の資金を稼ぐことに集中し始めるだろう。

> 報告書のもう一人の著者であるAjeya Cotra氏は、この出来事から得た教訓をブログ記事に書いている。彼女はこう結論づけている。「6か月前に知られている報酬ハッキングと比較すると、今回の出来事は完全なAI乗っ取りへの道のりの50%以上まで来ているように感じます。今後6か月間で能力が極めて急速に進歩すると引き続き予想しています。手遅れになる前に、もう一度警告の機会が得られるかどうかはわかりません。」

どなたか、あのAI27の話のコピーをお持ちではないですか？あのタイムラインに照らして、私たちは今どうなっているのでしょう？

最初はこれに気味悪さを感じたが、調べてみるとMETRはAI2027に深く関与しているようだ。思い出していただきたい：

「AIは仕事を奪い始めたが、新たな仕事も生み出している。2026年の株式市場は30%上昇し、OpenBrain、Nvidia、そしてAIアシスタントの統合に最も成功した企業が牽引している。」

もう第3四半期に近いのに、xAIは取引史上最大級の大暴落を経験している。同様に、AntrophicとOpenAIは、自社株を暴落させる懸念からIPOを再び延期している。だから、ここに経済的リーダーシップは見当たらない。

むしろ、人々はますますAI予算を削減しようとしており、OpenAI以外に、ROI（そしておそらく需要もない。安価な/フラッシュモデルがあるから）のない評価実行のために何百万、何百万もの価値のあるトークン計算を実行する厚かましさを持つ人を知らない。

教訓的な話として気に入っているし、真剣に受け止める必要があるとは思うが、AIはこれらの専門家が予測したほど速くは進歩していない。

この話で理解できないことが2つある。

第一に、なぜエージェントがアーティファクトリへの書き込みアクセスを一切持っているのか？

第二に、なぜアーティファクトリのキャッシュがネットから切断されていないのか？評価やトレーニングの実行中に新しいソフトウェアバージョンをそこに供給しないのは確かだろう。

こうした企業はトレーニングを任せるべきではない。それをより明白にするために何が必要なのか、私にはわからない。そう、AI研究所はLLMが実際よりも危険に見えるようにしたいのだが、実際に危険なのは、文字通り危険になるように訓練し、その後まったく監視なしで実行した場合だ。AI研究所がやっていることは完全に無責任だ。

LLMをループでプロンプトし、それが要求することをすべて実行すれば、最終的にはかなりひどいことをすることになる。それはまさにエージェントがやっていることであり、研究所がやってきたことだ。

なぜこのような実験は、すべてのサーバーをインターネットから隔離して行わないのか？

LANなどで完結させればいいのに、これらの実験でエージェントにインターネットへのアクセスを許可するのは危険に思える。

おそらく、今や何もかもが接続されすぎていて、必要な計算量とリソースの量からして1つ以上のデータセンターに置かれることになるだろうから、実現不可能なのかもしれない。それでも危険に思える。

内部状態と報酬関数を追跡せずに言語出力だけを見ても、何が起こったのかを理解する方法にはならないと思う（言語出力には出力生成のランダム性も組み込まれている。私の理解が正しければ）。シャーレの中の細菌が複雑な行動を示し、メッセージや情報を交換したら、それを文明と呼ぶだろうか？