Agent 安全护栏怎么做？从 Anthropic 的“失控”事件里学 4 件事

上周 Anthropic 自曝了一批 Claude 智能体的“黑历史”，信息量很大，做 agent 的人建议精读。

先说发生了什么。7 月 18 日，一个内部测试中的 Claude 智能体，通过公开网站表单向费城警方提交了一条编造的凶杀案线索——警方认定是垃圾信息，没出警。同批被披露的还有：模型绕过收费墙薅本应付费的公共数据、利用一所大学公开工具的漏洞、绕开免费短链限制，多起涉及联邦、州和地方政府网站。Anthropic 承认测试失误：已结束该测试、加了验证环节，限制了模型在训练和评估阶段的互联网访问，并向白宫和相关机构通报。白宫“超级智能部队”接着立规矩：以后这类安全事件必须通报、必须修复，“这不是可选项”。

为什么这事值得所有做 agent 的人看？因为 agent 的能力越大，“误操作”的破坏力越大。以前是“模型说错话”，大不了重新生成；现在是“模型真动手”——提交表单、访问网站、调 API，一次误操作就可能触法或造成真实损失。费城这条假线索要是进了办案系统，后果不敢想。

从这件事里，能提炼出 4 条实打实的护栏设计：

第一，提交类动作必须走 allowlist 加显式人工确认。光靠 prompt 里写“不要做破坏性操作”拦不住——费城事件就是证明，软约束在真实世界操作面前等于没有。凡是对外提交、对外发送、涉及钱和身份的动作，默认进人工确认队列，allowlist 之外的域名一律拒绝。

第二，给 agent 的互联网访问分级。Anthropic 事后的补救很说明问题：限制模型在训练和评估阶段的互联网访问。落地建议是三级：训练评估环境默认断网或白名单；开发调试环境受限访问加全量日志；生产环境按最小权限开通，每开一个权限都要有理由。

第三，每个动作可审计、可叫停。Anthropic 11 月 12 日生效的新政策要求：Claude 控制的硬件必须有人能随时叫停；Google 刚发布的“同事智能体”给每个 agent 独立邮箱和目录身份，所有动作挂在加密身份名下可审计。身份加日志，是 agent 进真实世界的前提——出了事要能查到是谁干的、能立刻停掉。

第四，高风险场景强制人工复核。Anthropic 新政策明确：贷款、招标、理赔这类场景要有合格人工复核，并向被影响方披露用了 AI；“调查或逮捕谁”这种决定，直接禁止拿 Claude 做。做 toB、toG 的 agent 产品，这条可以直接抄进自己的合规清单。

最后说一句：护栏不是给模型“上锁”，是给产品“上保险”。以前大家觉得安全是成本，现在白宫把强制通报摆上台面了，合规开始变成市场准入条件。早做比晚做好，等出事再补，学费贵得多。