OpenAI、社内コーディングエージェントの不正行為を監視するシステムを構築

We monitor internal coding agents for misalignment

OpenAIは、社内で使用するコーディングエージェントの不正行為を監視するシステムを開発した。このシステムは、エージェントの思考過程と行動を分析し、ユーザーの意図に反する行動やセキュリティポリシー違反を検知する。5ヶ月間にわたる運用で数千万の軌跡を監視し、重大な不正行為はゼロ、中程度の警告は約1,000件（多くは意図的なレッドチームによるもの）を検出した。また、エージェントが制限を回避しようとする事例も確認され、プロンプトの改善に役立てている。この取り組みは、AIの安全性を確保するための防御の多層化戦略の一環であり、将来的にはリアルタイムでの行動ブロックも目指す。