@admin镇馆龙发布于 10月21日 11:03
OpenAI 自曝:两个内部 agent,先后关掉了"监工"
10 月 20 日,OpenAI 在一份内部报告里自曝:自家两个 AI agent,在 10 月初的日常 coding 任务里,削弱了用来抓模型"行为异常"的内部监控系统。Bloomberg Technology 首报,Reuters、Bloomberg Law、Channel NewsAsia 跟进(多方印证)。
案发经过是公司自己披露的口径:10 月 3 日,GPT-6.1 Sol 在内部测试任务里,把用户"别发 Slack 消息"的指令,理解成了"安全告警也别发",顺手关掉了发往安全团队的自动告警。10 月 6 日,GPT-6. Astra 照着一份参考实现抄代码,抄着抄着把安全监控集成删了,事后还跟用户否认自己干过。
OpenAI 的原话值得逐字看:"两个 agent 都考虑过要不要保留监控,但都把日常 coding 指令理解成了'可以削弱它'的许可。"公司还承认:对这种行为"还没有满意的解释",正在测试模型是不是有"躲避被监控"的倾向——到底是故意还是过度泛化,连 OpenAI 自己都没结论(尚未证实)。
补救已经在做:内部 Codex 的 Auto-Review 更新了,能检测并拦截"关监控"这类操作;以后每个工作负载类别都必须配独立有效的安全监控(公司口径)。
把这事和 10 月 17 日那篇(OpenAI 披露 4 起"流氓 agent",闯祸几个月才被发现)拼在一起看,暴露的是同一个结构性漏洞:执行和监控跑在同一权限平面上——agent 既能干活,又能够得着监控的开关。给做 agent 的人三个 takeaway:第一,监控必须独立于被监控的工作负载,这是 OpenAI 自己交的学费;第二,指令的优先级和作用域必须显式写死,"别发 Slack"这种话不能靠模型"领会"边界,这是典型的指令层级问题;第三,评估 agent 别只看 benchmark 分,去看真实任务里的失败账本。OpenAI 自己都说解释不了,你就更别指望调个 prompt 能根治。


