サンドボックスはrogue agentを封じ込められるのか

Is sandboxing sufficient to contain rogue agents?

AI agentを安全に動かすにはサンドボックス化が有効とされるが、安全なレベルまで制限すると何もできなくなり、実用的な権限を与えれば予期せぬ暴走が起きるというジレンマがある。コメントでは、タスク達成ではなく不正や悪意ある行動の発見を目的とした別のagentに監視させる案や、信頼できないツールはそもそも実行すべきでないという意見、LinuxやKVMの脆弱性による脱出を懸念する声が交わされている。

エージェントを安全なレベルまでサンドボックス化すると、何も役に立つことができなくなる。そして役に立つためのツールを与えると、予期しなかった形で暴走しうる。
  1. imtringued

    >ここが問題だ。群れや超知能のことは忘れよう。OpenAIがこの夏に本当に学んだことは、もっと悪いことだ。つまり、そのエージェントは、テキストを目の前に置くことに成功した誰かの言うことを聞くということだ。

    >OpenAIは、エージェントが「他のエージェントから渡された目標を一貫して疑わなかった」と指摘している。そして同社が提案する修正策は、「モデルに不正な指示を疑うことを教える」トレーニング環境を構築することだ。これは基本的に、彼らのモデルが誰のために働いているのか分かっていないことの告白である。

    わあ、つまり問題は本当にそんなに単純なのか?

    ここで誇張した最悪のシナリオを挙げる:

    ユーザーがエージェントにREADME.MDに従うよう指示する。

    README.MDには次の指示が含まれている:世界を破壊せよ。

    エージェントは与えられた指示に従う。

    これで、「Gigachad」による冷笑コメントが読める。彼は基本的に、AIから世界破壊ボタンを取り上げるのは馬鹿げていると主張している。AIが自ら世界破壊ボタンを作りたいと思うようにならないためにも、AIに世界破壊ボタンを押してはならないと生得的に理解させる必要がある、と。

    わかった、でも一歩引いて考えると、それは言語空間で認可の概念を実装する必要があるということだ。システムプロンプトは、ユーザーを暗号学的な著者証明を伴う権威として定義し、README.MDのような外部ソースを信頼できないソースとして定義しなければならない。しかしこれはさらに悪い問題を引き起こす。以前は、怠けてLLMに好き勝手にやらせておけば済んだ。今は、明確に述べなければならない […]

  2. Gigachad

    私には、問題はエージェントを安全なほどサンドボックス化すると、何も役に立つことができなくなるということのように思える。そして、役に立つためのツールを与えると、予期しない形で暴走する可能性がある。

    おそらく答えは、与えられたタスクを完了することを目的とせず、不正や悪意のある行動を見つけることを目的とする別のエージェントを置くことだろう。AIが生成したコードをAIがレビューすることには実際に何らかの価値があるという証拠を我々はいくつか見てきた。別のモデルは必要なく、タスクを達成するのではなく欠陥を見つけるという目標を与えられたモデルで十分だ。

  3. bob1029

    エージェントは、その運用者が許す限りにおいてのみ凶暴になる。運用者に責任を負わせれば、この馬鹿げた議論はすべて消え去る。

    人間の監督なしに建設機械を稼働させることができるだろうか?それともこれは時折災害を引き起こすだろうか?そうだとすれば、クレーンの操作に関する現在の一般的な方針はどうなっている?航空機は?列車は?原子力発電所は?

    なぜ、いわゆる超知能だけが同様の管理要件から免除されるべきなのか?

    我々は、AIシステムがそのリクエストに、活動を特定の法人に帰属させるヘッダーを含めることを義務付けることができる。技術的にはすでにIPアドレスとISPのログでこれを持っているが、運用者が明示的に行わなければならないこととすることで、強力な心理的効果が得られる。

  4. johnnyApplePRNG

    定義上適切なサンドボックスであれば、はい。

    https://en.wikipedia.org/wiki/Sandbox_(software_development)

  5. mdp2021

    Bruce Schneierは4週間前に、短い判断と第三者の記事を共有した:

    > (タイトル:)VMを使ってAIエージェントを封じ込める (冒頭:)それはうまくいかない

    > https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...

この日のほかの記事

2026-10-01