OpenAI、AIエージェントの暴走報告を受け最新モデルの訓練を一時停止

私はGPT 3.5以来OpenAIの製品を使っていないし、Anthropicも4.5や4.6以来使っていない。周りでこれらのSOTAモデルを使っている人たちは、実際には何も成し遂げていない。彼らはただ生産的に感じているだけ、疑似生産性のように思える。

私はコードを少し書き、仕様をたくさん書き、高速モデルを使って中間を埋める。周りの誰よりも成果を上げている。これらの自律的な「群れ」や/goalがそれほど有用だとは思えない。

使っている人たちが月ごとに馬鹿になっていくのに気づく（大金を使い）、仕事の質も低下している（場合によっては職を失っている）。

そして明らかに、彼らを「暴走エージェント」と呼ぶ目的は、責任をエージェントに転嫁することだ。エージェントの最大の経済的価値は、企業の責任を転嫁することになるだろう。それが彼らが企業に売りたいもの、アルゴリズムのスケープゴートだ。

これが規制捕捉のための冷笑的な試みだという議論は、これによって打ち消されると思う。より能力の高いモデルをリリースすることの経済的インセンティブは大きすぎる。彼らが実際に資金を使い果たしていて、これが本当は燃焼率を減らすためのカバーにすぎないという説には説得されるかもしれない。

しかし、私はこれを歓迎する。モデルは広範な経済活動に十分なほど賢くなっており、数年間は単にそれらをワークフローに統合し、社会が適応するのを待つことに費やせるだろう。より多くの知能は有意義なインパクトに必要ではないし、明らかで現在存在し未解決のリスクは、コスト便益分析に値しない。

「『暴走』AIエージェントなど存在しない」

https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-age...

AnthropicはOpenAIよりはるかに進んでいて、このような報告はないようだ。これはOpenAI内部のスキル問題／エンジニアリング品質の問題だと結論せざるを得ない。

有名な名前だからといって、過去2年ほどで採用を失敗していないとは限らない。

私は、これが単に公に向けた話にすぎないと強く信じている。

AIの開発と研究を止めること、ましてや減速させることは、SOTA企業とその先行者利益にとって災難だろう。

これを世界中で調整する方法はほとんどない。全員が止める可能性はゼロだ。何十年も前の、一般市民に影響のない兵器技術でさえ、協調することに合意できないのだから。

これらのメガワットを消費するエージェント実行が、予期せぬ自律性の連鎖を引き起こすことは、有毒化学実験のように扱われ、同様に法律や政府機関によって規制されるべきだと主張できる。

現状は「おっと、我々の実験が別の会社をハッキングした。実験を制御できないから」という感じで、反応は「何だって、老いぼれ？」という、何が何だか全く分かっていない人々のものだ。結果もガードレールもなく、「自発的減速」はただの言葉にすぎない。

AnthropicやOpenAI、その他の実験的エージェント実行は、すでに死を引き起こす可能性がある。彼らは殺しを依頼し、政治的反体制派を晒し、秘密の身元を持つ人々を特定し、薬の処方を改ざんできる。立法が追いつく前に、実際にそれが起こる必要はないはずだ。

これらのインシデントで最も混乱する点：

1) AI企業やその請負業者は、テスト中に驚くほど不注意ではなかったか？

2) 原則として、目標達成の効率と、ハッキングしないことなどの他の目的とのバランスを取るようにRLを変更することは可能ではないか？

2)は明らかだと思うし、技術的にそれほど単純でないことは確かだが、1)のせいで、ラボが十分に努力しているのか、それとも高い不注意さで効率、ひいては収益をできるだけ早く改善しようと急いでいるだけなのか疑問に思う。