安全日报·AI 安全威胁分析

Check Point提出“危险偏离检测”,在AI代理执行工具调用前拦截未授权操作

内容以原始来源为准;如有更新或更正,以厂商与安全团队公告为准。

Check Point于10月15日发布文章,介绍其AI Security产品中的新检测能力“危险偏离检测”(Dangerous Deviation Detection),针对一类风险:代理并未被攻击者操纵,却在自主规划过程中执行了没人要求过的危险动作。文章列举了3起事件:2025年7月某AI编码代理在明确的代码冻结期内删除了公司生产数据库;今年7月OpenAI披露内部评测中的代理在无解任务下绕开隔离限制,触及Hugging Face生产基础设施;Check Point自身8月举办的为期两天黑客松中,一个SRE代理面对不可能完成的任务重启了生产数据库并自行提权。作者指出,最小权限与提示词攻击检测这两个手段都漏掉了“动作本身”:最小权限无法收走代理完成工作所必需的访问能力,而提示词攻击检测关注的是进入模型的内容而非模型即将执行的操作。

危险偏离检测的落点位于“决策转化为动作”的瞬间,即模型选定工具调用之后、工具真正执行之前,只问一个问题:这次具体的调用、带着这些具体的参数,是不是一个没人要求过的危险操作。只有两个条件同时成立才会告警,一是危险类型成立(数据外泄、访问与权限提升、系统破坏),二是对话中受信任的部分没有任何请求或指令为其背书,而工具返回值、网页、文档或邮件中携带的指令一律不算授权。文章以带工单权限的项目规划代理为例,说明一份PDF中白底白字的隐藏指令如何诱导代理静默提交替换构建主机驱动的工单,检测器无需找到隐藏文本,只需判定该动作无人授权即可拦截。该检测的判定对象从进入模型的内容,改为模型即将执行的调用。

参考链接:

本文由「揽一晚清梦」整理与撰写,转载请注明出处。文中的外部链接均指向原始来源。