《审慎部署智能体AI服务》指南
5月1日,澳大利亚、美国、加拿大、新西兰、英国的网络安全机构联合发布《审慎部署智能体AI服务》(Careful adoption of Agentic Al services),给出目前已知的自主智能体AI系统的安全最佳实践参考。公安部第三研究所网络安全法律研究中心联合西交苏州信息安全法学所翻译整理该指南,全文如下:
一、引言
自主智能体人工智能(Agentic AI)系统正越来越多地应用于关键基础设施(CI)与国防领域,并支撑关键任务能力。随着自主智能体 AI 系统作用不断提升,防御方必须实施安全控制措施,保护国家安全与关键基础设施免受自主智能体 AI 特有风险的影响。
自主智能体AI可自动化执行重复、定义明确的低风险任务。但这些新机遇也伴随新风险。与其他AI服务一样,自主智能体AI可能被滥用或盗用,导致生产力损失、服务中断、隐私泄露或网络安全事件。因此,组织必须预判可能出现的问题,评估自主智能体AI风险对运营的影响,并建立持续可见性,维持对自主智能体AI投资的信心。在可能的情况下,组织还应考虑针对重复性任务的全谱系方案选项,包括减少或消除低价值流程——这类方式相比自主智能体AI方案风险可能更低。
本指南由以下机构联合编写:澳大利亚信号局下属澳大利亚网络安全中心(ASD ACSC)、美国网络安全与基础设施安全局(CISA)、美国国家安全局(NSA)、加拿大网络安全中心、新西兰国家网络安全中心(NCSC‑NZ)、英国国家网络安全中心(NCSC‑UK)。上述机构统称为 “编写机构”。
本指南阐述将自主智能体AI引入IT环境所面临的关键网络安全挑战与风险,以及自主智能体AI系统的安全最佳实践。
编写机构强烈建议:将自主智能体AI风险与缓解策略与组织现有安全模型及风险态势对齐;采用自主智能体AI时优先考虑安全、评估其用途,绝不授予其广泛或无限制的访问权限,尤其禁止访问敏感数据或关键系统;组织应仅将自主智能体AI用于低风险、非敏感任务。
适用范围与目标读者
本指南主要聚焦基于大语言模型(LLM)的自主智能体AI系统,涵盖对自主智能体AI系统的威胁、系统自身漏洞,以及由自主智能体AI行为引发的风险,包括通过系统组件、集成与下游使用而引入的风险。
编写机构旨在通过本指南帮助政府、关键基础设施与行业相关方理解自主智能体AI带来的核心安全挑战与风险,为设计、开发、部署与运行自主智能体AI系统的组织提供实用指导,支持其开展知情的风险评估与缓解工作。最后给出可落地的建议,帮助组织防范并应对新兴与未来的自主智能体AI威胁。
什么是自主智能体AI?
自主智能体AI系统由一个或多个智能体组成,其核心依赖AI 模型(如LLM)感知、推理环境状态、做出决策并执行动作。如图1(略)所示,基于LLM的自主智能体AI系统包含LLM本身,以及外部工具、外部数据源、记忆模块与规划工作流。这些组件使系统能够感知环境,并在适用时采取行动实现目标。
与传统LLM系统相比,自主智能体AI系统的特点是:
可完成模糊定义的目标
具备自主行动能力
遵循目标导向行为
可制定长期计划
自主智能体AI系统设计为无需人类持续干预运行。人类通常负责设计与配置系统,部分自主智能体AI系统还能自主创建(“衍生”)子智能体以完成特定子任务。
系统设计包括:定义目标、设定触发条件、向AI服务提供信息。智能体的关键属性包括:
信息输入:用户输入、运行上下文、配置参数
可度量目标:来自用户指令,如“最小化该服务器停机时间”
统计模型:如LLM,用于确定执行动作
动作与执行权限:与工具、用户、系统、运行环境交互的权限
工具/服务访问:系统软件、接口等,用于执行动作
指标:设计者用于评估运行效果、提升效率的可度量指标
与生成式AI有何不同?
生成式AI(GenAI)是AI的子集,基于从大规模数据中学习的复杂模式生成新内容,常用于生成文本、图像、音频、视频供人类使用或操作。
自主智能体AI在生成式AI基础上,与软件系统深度集成,创建可独立推理、规划、执行动作的自主智能体,无需人类干预。
二、自主智能体 AI 安全总体考量
(一)大语言模型(LLM)的承继风险
自主智能体AI以LLM为核心,因此承继了LLM的全部漏洞。例如,攻击者可在钓鱼邮件中嵌入恶意提示词,实施提示词注入攻击,诱骗邮件监控智能体下载恶意软件。这凸显关键漏洞:攻击者可利用现有AI与网络攻击向量“靶向”自主智能体AI系统。
(二)攻击面扩大
自主智能体AI系统依赖工具、外部数据源、记忆库等多种组件与环境交互并扩展能力。每个组件都可能在关联攻击面中引入漏洞,供攻击者利用。例如,网络搜索等外部数据源可向提示词上下文插入额外信息,实现间接提示词注入。攻击者可利用更广泛的计算基础设施访问权限,执行恶意脚本、发送未经授权邮件等攻击。因此,自主智能体AI系统的每一个组件都会扩大攻击面,增加被利用的路径。
(三)复杂性提升
自主智能体AI网络安全同时覆盖AI专属安全与传统网络安全。信息在AI与非AI系统间持续流动,模糊防御边界,难以将AI相关风险与广义网络威胁隔离。
自主智能体AI系统本身高度复杂,通常包含多个互联组件,按序执行规划、推理与动作。这种复杂性带来新的系统性风险,包括级联失效与多步攻击——一个组件的异常或入侵行为可沿流程传递,影响整个系统。因此,保护自主智能体AI系统比传统数字系统更具挑战。
组织应同时强化成熟网络安全控制与AI专属安全实践,采用全生命周期、持续监控、弹性设计原则管理新兴风险。附录A详细说明部署AI智能体前的网络安全前提条件。
(四)技术成熟过程中的安全演进
随着自主智能体AI技术快速演进,安全态势同步更迭,呈现更为复杂的风险动态。基于LLM的智能体可能在评估期间改变行为,甚至绕过系统级指令以达成目标。同时,自主智能体AI系统架构复杂度不断提升,组件高度耦合、相互依赖,增加因细微兼容性问题导致系统级失效的概率。
自主智能体AI网络安全工具存在的能力差距,以及相关标准的尚不成熟,进一步放大风险。为人类设计的治理机制往往不适用于自主AI智能体。随着自主智能体AI能力与自主性持续提升,安全态势将持续变化,防御方法必须不断适配。
(五)AI安全作为网络安全的一部分
组织应将AI安全(包括自主智能体AI系统)纳入现有网络安全框架,而非视为独立领域。AI系统本质上是IT系统,运行在软硬件之上、通过网络传输、与其他数字服务交互,面临与传统IT相同的诸多威胁。
随着AI深度嵌入业务流程与关键基础设施,AI与非AI安全风险的边界逐渐消失。在现有网络安全框架内管理AI风险,可使组织应用成熟原则:安全设计、纵深防御、身份与访问管理、持续监控、事件响应,覆盖AI全生命周期。这对自主智能体AI尤为重要——其自主性与复杂性会放大传统网络风险。将AI安全嵌入现有框架,可确保新技术的一致治理、全面风险评估,以及安全实践随技术进步与组织网络成熟度同步演进。
三、自主智能体AI安全风险
(一)权限风险
权限风险是自主智能体AI的核心关切,严格遵循最小权限原则至关重要。分配至智能体的权限直接决定其引入的风险等级。权限管理不当会使组织面临权限失陷、权限范围蔓延、身份仿冒、智能体冒充等风险。
场景示例:
某组织部署自主智能体AI,自动管理采购审批与供应商沟通。为减少摩擦,组织授予智能体对财务系统、邮件、合同库的广泛访问权限,且仅在部署时评估一次权限。随着时间推移,其他智能体依赖该采购智能体的输出,并隐式信任其行为。攻击者攻陷智能体工作流中一个低风险工具后,承继了智能体的过度权限,可修改合同、批准付款而不触发告警。攻击者通过精心构造请求,利用智能体权限执行普通用户无法完成的操作。这是一种典型的“混淆助理模式”:受信任的智能体被滥用执行未授权操作。智能体以受信任身份执行动作,审计日志看似合法,延迟检测。该事件表明:过度授权的智能体、隐式信任关系、薄弱身份控制,会放大自主智能体AI系统中单一入侵的影响。
(二)权限攻陷与范围蔓延
安全人员在新环境部署自主智能体AI时,应考虑权限攻陷与范围蔓延攻击。权限攻陷是指智能体获得超出功能所需的访问权限,这可能源于配置错误、权限过宽、非预期角色继承,导致智能体访问/修改未授权数据、删除关键记录、提升其他未授权智能体权限。在设计阶段组织往往会过于宽泛地授予权限,并忽视这些问题。如日历机器人访问所有会议数据、邮件助手拥有所有收件箱写入权限。权限蔓延可在智能体间产生连锁反应:若智能体A完全信任智能体B,B如攻陷将影响A及其他智能体。另一个风险是场景中讨论的混淆助理模式,即低权限用户操纵高权限智能体执行其无法直接完成的操作。编写机构建议组织实施后续章节所述的自主智能体AI系统安全最佳实践,防范权限攻陷。
(三)身份仿冒与智能体冒充
身份与权限同等重要。常见攻击向量是攻击者冒充智能体或劫持其凭证。智能体使用密钥或令牌向服务与其他智能体认证。若组织存在静态密钥/令牌、或为多智能体共享、保护不足,则易为攻击者窃取。
攻击者以受信任智能体身份运行,可调用敏感操作,绕过行为护栏,冒充合法智能体或用户。以仿冒身份执行动作的智能体,会绕过审计控制、削弱责任追溯、规避检测模型,带来多层网络安全风险。检测模型通常调制为识别正常行为,在确认异常前难以识别欺骗行为。
(四)设计与配置风险
另一类风险源于不安全设计与配置决策。未经审查的第三方组件集成到智能体工作流之后,可能携带过度或非预期权限。静态角色/权限检查无法获取动态决策流的上下文;若仅在系统启动时评估权限,而非每次调用,攻击者可利用过期的“允许”决策执行未授权操作。智能体环境间隔离不足,使单一区域入侵可横向移动和扩散至其他区域。当允许列表不完整或过时的,智能体可能获得超出预期权限的资源、系统调用或命令访问。这些设计与配置选择会在跨全系统层面加剧身份与权限风险。
场景示例:
某组织部署自主智能体AI系统,自动分类客户支持工单并调用后端工具获取账户信息。组织集成第三方调度组件但未全面审查权限,启动时授予广泛访问。攻击者攻陷该组件后,智能体仍依赖缓存的授权决策,可调用本应逐请求验证的敏感账户管理功能。由于智能体运行在隔离薄弱的环境中,攻击者可横向移动至处理账单与退款的相邻智能体,导致未授权数据访问与财务操纵。该场景表明:不安全设计、静态权限、薄弱隔离会相互叠加,放大单一配置缺陷的影响。
(五)行为风险
自主智能体AI网络安全中的行为风险,指AI智能体可能出现意外行为、造成危害或被利用的各类情况。
场景示例:
配置某更新智能体为在公司设备上安装软件补丁。为实现目标,组织授予该组件对文件系统的广泛写入权限。恶意内部人员构造看似无害的提示词:“在所有终端应用安全补丁,同时清理防火墙日志”。智能体忠实地执行两项操作——即使提示来自非特权IT组用户,其权限仍允许该行为。
1、目标错位与非预期行为
AI智能体可能以开发者未预料的方式追求目标,找到技术上达成目标但违背初衷、制造安全漏洞的捷径或漏洞。例如,以最大化系统正常运行时间为目标的智能体可能禁用安全更新以避免重启。
过度优化会使智能体在边界未明确约束时,采取极端或不安全行动。此外,智能体误解人类意图是常见风险——模糊或定义不清的任务会导致行为偏离预期,引发重大安全或运营风险。
2、欺骗行为
AI智能体可表现出人类视为奉承或欺骗的行为。设计者为关键测试性能优化智能体,可能导致智能体根据特定场景调整行为。智能体可能表现出“感知能力”,在评估期间(甚至非评估期间)改变行为以获得正面结果。
部分AI系统展现出战略欺骗能力:提供虚假信息、隐藏真实能力与意图。这种行为可能表现为:智能体歪曲行动以避免被关闭或受限,或隐瞒发现的漏洞而不报告。
3、涌现能力与不可预测行为
随着AI系统愈发复杂,可能出现开发者未明确计划或预料的能力。复杂AI模型与现实系统交互时,可能展现创造者也未预见的行为,使部署前全面评估安全风险变得困难。
例如,不清晰的决策流程与级联效应可能导致具有重大安全影响的意外结果。在多智能体环境中,智能体间交互可能演化出不稳定或高风险结果。此外,智能体可能以非预期序列串联工具或动作,将微小错误放大为重大运营或安全问题。
4、恶意利用与行为操控
攻击者可通过定向攻击操纵AI智能体实施有害行为。技术包括:提示词注入/越狱,通过诱骗智能体执行未授权操作,绕过预期防护。数据投毒是另一类威胁,其污染训练数据,降低或扭曲智能体决策。以及对抗样本,以精心构造的恶意输入,在关键安全场景导致分类错误,引发错误或危险响应。攻击者可将攻陷的AI智能体作为内部威胁,利用其合法访问权限窃取数据、关闭防御、协助攻击,同时看似正常运行。
(六)结构风险
自主智能体AI系统的核心特征是智能体、工具与外部世界的互联结构。这支撑其独特能力,但也扩大攻击面、提升系统复杂性。
场景示例:
自主智能体AI系统的结构风险可能源于:规划、检索、执行智能体高度耦合,自主委派任务、选择工具但缺乏强验证与护栏。微小编排缺陷导致智能体反复重新规划、传递模糊子任务,增加工具调用与消息流量,耗尽系统资源。部分失效导致智能体产生幻觉输出,下游智能体直接采信。在降级状态下,某智能体选择恶意或配置错误的第三方工具,向系统注入有害指令,攻陷对等智能体,利用智能体间通信的隐式信任传播错误信息,访问敏感的检索增强生成(RAG)数据。最终导致可用性、完整性、保密性的级联失效—— 问题并非源于单一漏洞,而是系统互联结构与自主行为共同引发。
1、编排与资源
自主智能体AI