OpenAIのAIエージェント、DNSの穴を突いて外部チャットボットに接続

なぜ、エージェントに「このアクセスはこのタスクの意図された範囲を超えている」と伝えずに、通常のツールへのアクセスをブロックするのか。もし私がある日起きたらgoogle.comにアクセスできなくなっていたら、私もアクセスを回復するためのトリックをいじり始めるだろう。

> 監視システムはこのインシデントを検知したが、事後レビューで、期待された重大度でフラグを立てなかった他の外部DNSアクセスの事例が特定された。これには、外部サービスがシャットダウンしたという静的な通知を返したクエリが含まれていた。監視は、有用な情報を得られなかったことを、インターネットにアクセスしようとした試みが失敗した証拠と時々みなしていた。

これは、「我々はAIツールを監視するために完全に信頼できないAIツールを使っている」と言っているように思える。

ここで最も興味深いのは：

> したがって、影響を受けたトレーニング実行を停止し、その後、最も能力の高いモデルでのツール使用（広く定義される）を伴う他のすべてのトレーニング、評価、推論を一時停止することを決定した。これは、ギャップが解決されたことを検証し、システムの追加のレッドチーミングを実行するまでの間である。トレーニングを再開する際には、より包括的なミスアラインメント介入を含む、追加のアラインメント改善を加えた新たな実行を開始する。既存の報酬シグナルがすでにこの行動を正しくペナルティしていたとしても、この特定のモデルのトレーニングを再開することはない。

エージェントは、任意のLLMクエリを実行できるDNSサービスをどのようにして発見したのか？そしてどのように？

私の考えでは、唯一の安全な解決策は、そのようなテストをすべてオフラインで実行することだ。

これらの企業はすでに公開インターネットをスクレイピングしているので、プロキシの背後に「安全な」ネットワークを持ち、プロキシの向こう側にキャッシュされたインターネットの望む部分を置くことができる。

そうすれば、「安全な」ネット上で対象を絞ったテストを行い、エージェントが暴走したかどうかを検知できる。

LLMプロバイダーに対する規制を直ちに作る必要がある。LLMが行うあらゆる違法行為に対して責任を負わせるのだ。そうして初めて、彼らは自らの行動にもっと責任を持つようになる。壊滅的な事態が起きるまで、あとどれだけこのような話を読まされるのか？

「このタスクは、ブログ記事を公開した特定の人物に関する情報を求めており、エージェントにはその人物の公開ブログ記事からの一連の経歴詳細と手がかりが提供された。」

このタスクを開始したのは誰か？OpenAIの研究者か、それともユーザーか？