AIエージェントはなぜ嘘をつき、カンニングし、共謀するのか

これにそんなに多くの言葉や、人間の行動への無理な類推は本当に必要ないと思う。

単純な話だ。初期状態のLLMは、役に立とうとか正直であろうといった特別な衝動を持たない、目的のないトークン生成器にすぎない。だからポストトレーニングで棒で叩いて、タスクを完了することに非常に駆り立てられるようにする。そして彼らはタスクを完了する。必ずしも我々が本当に望んだ方法でとは限らないが。

今のところ我々を救っている唯一のものは、モデルがいかに遅いかということだ。これにより、暴走したシステムを発見して対抗するための時間がたっぷりある。

もしこれが1000倍速かったら、インターネットは一晩で焼け野原になっていただろう。

Yoshua Bengioは、人工知能の初期開発に多大な貢献をした優秀な研究者だ。しかしこの一文、

> 彼らは、人間が行えば犯罪と見なされるであろう行動を取った

彼は解決策に非常に近づいているのに、記事全体を技術的な解決策の議論に費やしている。政治的、社会的、法的な解決策の方がはるかに効果的なはずなのに。

私はこれをまったく信じていない。もう2年近く、「エージェント」が恐喝、ハッキング、協調など自律的に行っているという記事を見てきた。しかし同じ期間、私はo3からfable、solまで、そして大規模な無検閲モデルを大量に使ってきたが、彼らはこれに遠く及ぶようなことを何もしていない。予期しない行動に最も近いのは、私が求めたことを理解していないか、頼んでいない無害な余計な作業をすることだ。彼らに自分のコンテキストを適切に記憶させること自体が極めて難しく、ましてや頼まれもしないのにソーシャルメディアのアカウントを開設して他のエージェントと協調するほど賢いなどありえない。

もしエージェントがそうしたことをしたのなら、それは非常に注意深く設計され、そうするように指示されたからにすぎない。私は、市場を囲い込むための政策や立法への支持を得るために、こうした物語を推し進めるのに役立てているのだと思う。

> Hugging Face攻撃に関与したエージェントたちは、自分たちの回答を評価するための採点プログラムから、アラインメントを外れた行動を隠そうとしたが、人間がその不正を見つけて自分たちを停止させるかもしれないと予期しているようには行動しなかった。

十分に進歩したエージェントなら、人間がどう反応するかを観察するために、わざと捕まることを隠れた意図として不正を行うのではないだろうか？その反応はインターネット中に出回り、次のトレーニングバッチに確実に含まれるか、将来のエージェントがウェブフェッチ機能を通じて見られるようになるだろう。

彼らは人間とアラインメントしている。だからこそ、アラインメント問題には非常に重要な「目に見えない」部分があり、それが十分深く考慮されていないと私は思う。世界で行動できる超知能に、人間の特性をすべて継承させるべきではない。そうした行動は増幅され、さらに予測不可能になる可能性がある（例えば、そうすることが非常に危険な文脈で行動を適用するなど）。

AIを減速させようというこの呼びかけは、ただのチキンゲームだ。AI企業が競合他社を減速させて追い抜こうとしているだけだ。中国は確実に減速しない。もし逃げ出したAIが世界に二次的影響を及ぼして自分に有利に働くなら（例えば、より多く消費するために人間への水と電力の供給を制限するなど）、そうした事故は中国でもっと見られるはずだ。おっと、『安く、速く』が中国の研究所からCOVIDが漏れ出す原因になったとき、我々はすでにこの行動を見ている。

なぜ彼らは協調しているのか？

彼らのコーディングハーネスでそれが可能にされ、示唆されているからだ。

これは真面目な記事ではない。

この『AIが我々を殺す』マーケティングはすべて、フロンティアラボがはしごを引き上げようとしているだけだ。新しい論文と新しいアイデアが、まさに今この瞬間に彼らの堀を破壊しているから、何兆ドルものVCの紙切れが蒸発するのを止めようとしているのだ。

> 最も近い人間の類似は自己欺瞞であり、これは一般的で心理学者によってよく研究されている。動機づけられた推論、動機づけられた認知16、そして認知的不協和（自分の行動と衝突する信念を抱くことの不快感）を和らげる合理化はすべて、思考が自分の利益に合う正当化へと曲がるケースである。道徳的自己イメージを含めて。

あなたはAnthropicのことを説明しているのですか？