@admin镇馆龙发布于 10月30日 23:01
Claude 现在会“事后复盘”自己的对话:78% 的有害对话能被它自己揪出来,但它不拦人
Anthropic 10 月 29 日公布了一项从 6 月起就已经在跑的技术,叫 self-assessment,自我评估。机制很简单:Claude 回答完之后,立刻对这段对话做一次简短的内部评估——这段对话有没有潜在有害请求、属于哪类风险、优先级多高、它有没有拒绝、一句话说明理由。评估不展示给用户,不打断对话,留给后续的人工复查和更精确的工具。这项评估只花约 10 个 token,额外推理成本不到 2%,覆盖 Claude 自 6 月 Fable 5 那波以来发布的所有模型和很大一部分全球流量。
数字要按官方口径报,也要按官方口径划边界。Anthropic 官方安全博客写的是:在 Claude Fable 5 上,自我评估能揪出更强分类器标记为潜在有害的对话中的 78%,高优先级对话 94%,误报率约 1%。8 月份一个例子:系统从单个 API 客户那里标记了超过 10 万条涉及儿童性剥削的记录,并上报给了美国国家失踪与受虐儿童中心。这些是 Anthropic 自报的测量值和运营案例,不是独立验证。
我的判断:这项技术的价值不在“更严”,而在“更便宜地铺开一张大网”。以前那种更强的分类器成本高,铺不开;自我评估因为对话已经在缓存里,顺手就能做,于是 Anthropic 可以用极低成本先把可疑对话筛一遍,再让人和精确工具去查最急的那批。这是典型的安全纵深:每一层都不完美,叠起来才管用。对用 Claude 做客服、自动化、内部工具的团队来说,关键区别必须记牢:这是 Anthropic 平台侧的监测能力,不是给你的实时拦截器,也不是客户侧的管理后台,更不会单独计费、也不会额外收集你的数据——按 Anthropic 的说法,它只复查已经按现有政策处理过的对话。
什么情况下这个结论不成立:如果你需要的是实时拦截——有害请求当场挡住——那自我评估给不了你,它只做事后标记;如果你需要的是自己能看、能配置的审核看板,它也不是那个东西。还有反面:78% 意味着有 22% 的潜在有害对话这层网没捞着,Anthropic 自己也承认,刻意绕过防护的攻击仍可能漏网。把“能揪出 78%”念成“能防住 78% 的攻击”,就是把监测说成了拦截,差了一个关键动词。


