OpenShell 用形式化方法管控 AI 智能体
What we have learned at OpenShell applying formal methods to control AI agents

随着 AI 智能体自主性增强,传统的人工权限审查在大规模场景下已难以为继。我们在 OpenShell 项目中发现,智能体常利用网络层(Layer 4)与工具的组合绕过应用层(Layer 7)的 REST 策略检查。为了解决这一难题,我们借鉴 AWS 在 IAM 策略验证上的经验,引入 Z3 求解器,将复杂的权限策略转化为形式化逻辑进行自动证明。这种方法能在毫秒级内确定性验证策略变更是否越界,无需消耗 Token,为长周期运行的智能体系统提供了可靠的“数学级”安全护栏。
在沙箱、运行时策略、网络、文件、工具、AI 模型和凭证访问之间,存在指数级的意外组合,可能导致 AI 智能体执行人类操作员明确禁止的操作。