Harness 与 Agent 工程 · 安全防护与质量治理 · 2026-05-14

傅宏宇:OpenClaw类自主智能体的分层治理

OpenClaw类智能体从信息生成转向任务执行,其风险已从内容失范升级为执行偏差,亟需构建分层治理体系。

核心内容:

  1. 智能体风险从信息层升级为行为层,需治理转型
  2. 提出“本体-交互-生态”三层治理框架
  3. 针对每层核心能力与风险提出具体治理策略

目次

引言

一、智能体风险治理的风险特征、制度检视和分层治理结构的提出

二、本体层治理:意图编排、行为边界与软硬结合的模型约束

三、交互层治理:外部资源调用能力与协议安全加固

四、生态层治理:多主体协同能力与智能体商业生态规范

结语

摘 要:人工智能正经历从“生成式对话助手”向“自主执行智能体”的范式转型,新的风险特征对安全治理带来新的挑战。面对智能体能力的非线性扩张,单纯依赖事前预判和准入限制,或采取事后修补的被动式监管路径,都无法准确识别和及时管控风险。基于实现能力与规制同步演进的敏捷治理思路,应穿透风险的外观,根据智能体能力与风险的伴生性原理,通过“本体—交互—生态”的风险分层治理方案,对智能体本体层、交互层、生态层三个层面的核心能力与伴生风险进行解析,并在每一层面提出对应的治理策略,为智能体发展提供可操作、可迭代的安全保障体系。

关键词:自主智能体;智能体安全;分层治理

引 言

2022年11月,OpenAI发布ChatGPT,这是生成式人工智能开始向大众普及的重要节点。彼时人工智能的功能仍局限于文本生成与信息交互层面,尚不具备主动采取行动、调用外部工具或对现实世界产生直接影响的能力。近期,另一场技术变革正在显著重塑人工智能的能力边界。以OpenClaw为代表的自主智能体系统的出现,使用户获得了能够自主执行操作的数字助理;用户无需编写代码,只需以自然语言发出指令,智能体便能自主完成文件读写、代码执行、邮件批量处理、跨软件数据协同等全流程操作。与此同时,智能体与电商应用的深度集成,推动了全流程智能化购物的初步实现,智能体商业(AI for Commerce)生态已见雏形。谷歌在《虚拟智能经济体》(Virtual Agent Economies)研究报告中指出,随着智能体的广泛应用,人工智能将能够自主完成交易、资源配置与协作,独立参与经济价值创造。这意味着人工智能正从辅助性工具逐步转变为具有一定自主性的经济活动参与者。新技术相较于之前的核心变化在于,模型的功能定位从信息生成转向任务执行。自主智能体系统的出现标志着人工智能从信息处理工具转变为具备自主执行能力的技术系统。传统语言模型的风险形态以内容风险为主,虚假信息、偏见放大、隐私泄露等问题本质上发生在信息生态的范围之内,此时人类仍是最终的行动决策者。然而,当模型获得调用工具、执行代码、操控界面、跨系统通信等能力之后,风险的性质便发生了根本性转变:从信息层面的内容失范升级为行为层面的执行偏差,从数字空间的语义风险演变为可直接作用于现实世界的操作风险。OpenClaw在相关典型场景中的应用已印证了这一风险的现实性。在某类典型事故中,由于系统提示词配置不当,导致智能体将“清理冗余邮件”的指令错误理解为全量清除,在数分钟内完成了本地邮件的批量删除,造成大量不可恢复的数据损失。此外,插件市场也遭受了大规模恶意代码投放攻击,多个伪装成正常工具的恶意插件窃取了用户的标准应用程序编程接口(API)密钥与文档内容,受害用户规模庞大。这些事件共同表明,智能体的自主行动能力正在以超越现有安全防护机制响应速度的方式持续扩展。

智能体技术的快速扩散充分揭示了人工智能技术的双重属性:一方面,它显著降低了高质量自动化服务的获取门槛;另一方面,其插件机制的去中心化特征以及自主执行能力对既有管控边界的穿透性,共同构成了一个难以被传统监管手段有效覆盖的复杂风险领域。基于上述问题,本文旨在回应如何在鼓励以OpenClaw为代表的智能体服务创新发展的同时,构建与其能力边界匹配的系统性安全治理框架这一议题。

一、智能体风险治理的风险特征、制度检视和分层治理结构的提出

智能体系统的治理不同于传统生成式人工智能的网络信息内容安全监管,其核心难题在于如何应对一种兼具高度自主性与深层不确定性的技术形态所带来的增量风险。对这一治理难题的分析,可以依托两个经典分析框架展开:其一,乌尔里希·贝克(Ulrich Beck)的风险社会理论,它揭示了现代技术风险的内生性、不可感知性与责任弥散性特征,为理解智能体系统的风险结构提供了解释力。其二,科林格里奇困境(Collingridge Dilemma)理论,该理论聚焦技术治理的时机悖论,为智能体治理的路径选择提供了方法论参照。

(一)OpenClaw类智能体的风险特征

1.风险特征判断:风险社会理论的适用

乌尔里希·贝克在《风险社会:新的现代性之路》中系统阐释了现代性条件下技术风险的结构性变迁。其核心理论主要包括两个方面:一方面,现代技术风险并非外生的偶发灾难,而是由技术进步内生性地产生,深嵌于技术系统自身的结构之中,具有难以被传统制度框架充分感知和预测的特征;另一方面,此类风险在责任归属上呈现高度弥散性,利益链条上的各方主体均可在既有制度框架中找到免责依据,由此形成贝克所称的“有组织的不负责任”,导致系统性风险转化为现实损害时,受损方往往面临追责路径断裂的制度困境。依照贝克的上述理论框架分析,可发现以OpenClaw为代表的智能体系统的主要风险特征为:

第一,内生不确定性的非线性放大。在以ChatGPT为代表的生成式人工智能阶段,人工智能技术风险的边界相对明晰,模型可能输出错误信息或有害内容,但风险主要停留在信息生成层面,用户作为最终行动决策者仍保有干预与纠偏的主导权。智能体系统从根本上改变了这一风险结构,其“工具调用—环境感知—自主决策—行为执行”的闭环架构使得信息层的偏差通过系统的自主行为直接传导至物理世界或数字系统,形成从信息风险向行为风险的质变;在这一传导过程中任何一个环节的微小偏差都可能经由链式传导而不断放大,酿成不可逆的实际后果。与此同时,智能体能力的持续迭代升级可能导致当前有效的安全边界在后续版本中失效,这对监管介入的时机选择与规制工具的前瞻性设计提出了更高要求。

第二,无感知性的结构性强化。贝克理论中关于现代风险超越个体感知能力的论断,在智能体场景中得到了进一步验证。OpenClaw类系统的长期记忆机制与多步骤自主执行能力使风险的孕育期大幅拉长,被投毒的记忆数据可能潜伏数周乃至数月,在此期间仍然以个性化服务的正常外观持续运作,直至特定任务条件触发时方才显现为实际损害。此种延迟性与隐蔽性对先有损害结果再进行事后追责的传统监管逻辑构成挑战:当风险尚未外显为可观测的损害结果时,无论是监管机构还是终端用户均缺乏有效的风险感知手段,既有的以结果为导向的监管机制面临适用困境。

第三,有组织的不负责任的链条延伸。在OpenClaw类智能体的运行过程及其与外部系统的持续交互中,一次损害事件的责任链条可能横跨基础大模型提供者、智能体编排框架开发者、插件贡献者、平台运营者与终端用户等多个主体,各方之间以开源许可证与服务条款相互隔离,形成了结构上较传统软件供应链更为复杂的责任分配格局。以“龙虾中枢”(ClawHub)平台曾发生的记忆投毒攻击事件为例,恶意插件的开发者已无法追踪,而受害用户面对多层嵌套的开源免责条款,在现行法律框架下获得救济的路径极为有限。此种责任链条的极度延伸与弥散,恰是贝克所揭示的“有组织的不负责任”在数字智能体时代的典型呈现与延伸。

2.治理时机选择:应对克服科林格里奇困境,从“事后修补”到“敏捷治理”

科林格里奇困境(Collingridge Dilemma)揭示了技术治理面临的深层时机悖论:当一项技术处于早期发展阶段时,其社会影响尚不明朗,彼时干预的成本较低但因缺乏充分信息而难以精准施策;而当技术的社会影响充分显现时,技术已深度嵌入社会系统与产业结构,干预成本高昂且面临路径依赖的显著阻力。自主智能体的治理正面临这一困境的深度考验。一方面,以OpenClaw为代表的智能体应用的快速扩展发生在极短的时间窗口之内,其渗透速度远快于传统立法程序的响应周期。当各方尚在讨论是否应当针对智能体制定专门立法或建立独立监管机制时,智能体服务已深度嵌入大量终端用户的日常工作流程。另一方面,智能体技术的高速迭代与应用场景的持续多元化扩展,使得任何静态规制框架在颁布之初便可能面临实质性的滞后风险。与此同时,各利益相关方对智能体风险的认知均存在显著局限,开发者尚未完全掌握自身系统在复杂部署环境下的能力边界与行为特征,监管机构缺乏评估智能体自主行为的成熟技术工具和方法储备,而终端用户则因功能便利性的正向反馈对潜在风险的感知度普遍不足。这种多方“共同无知”的状态使得基于充分信息的事前规制和基于损害结果的事后追责均面临有效性不足的困境。

破解这一困境的制度出路在于敏捷治理范式的引入,应将监管周期从“技术成熟后立法”压缩为“与技术迭代同步演进的动态规制”,将治理工具从终端行为约束前移至能力层级的源头,将治理主体从单一政府监管扩展为涵盖模型开发者、平台运营者、标准制定组织与开源社区的多方协同治理网络。上述理念构成了本文后续提出的分层治理框架的理论基础。

(二)现实映射:全球立法的匹配度检视

智能体所具备的动态规划、工具调用与非决定性执行能力,对建立在传统软件或早期生成式人工智能基础上的监管范式提出了根本性挑战。通过审视当前全球主流的人工智能治理框架可以发现,在面对智能体系统带来的增量风险时,既有立法与政策实践在技术映射、责任归属与监管时效等方面均呈现出不同程度的错位。

1.基于应用场景进行风险分级的事前监管:以欧盟为代表

欧盟《人工智能法案》(Regulation(EU)2024/1689,以下简称AIA)的监管思路代表了当前全球最具系统性的事前风险监管路线。该法案采取了以应用场景为核心的风险分级规制逻辑,除针对通用人工智能模型(GPAI)设定单独的合规要求外,将人工智能系统划分为禁止性风险、高风险、有限风险和最小风险四个层级。此种规制思路的初衷在于,通过对高风险系统实施严格的事前合格评定、质量管理与技术文档审查,在系统进入市场前最大程度地过滤潜在的安全与伦理风险。然而,当这套建立在“静态系统可穷尽测试”前提下的监管框架面对具备自主规划、工具调用和执行能力的AI智能体时,监管逻辑的静态性与技术特征的动态性便产生了难以调和的结构性矛盾。

其一,法案的分级监管逻辑以“场景化风险”为核心锚点,但智能体的风险实质上并非单纯由其应用场景决定,而是高度依赖其在系统运行中所获得的操作权限以及与外部环境交互的深度。例如,同一套基于开源编排框架构建的智能体系统,在财务操作场景下与在学术研究场景下的风险表现存在天壤之别,欧盟《人工智能法案》静态的、预设的场景分级框架难以敏锐捕捉这种因动态权限分配而产生的风险差异。同时,法案的合规逻辑高度依赖事前审查,要求高风险系统在上市前提供详尽的技术文档以证明其输出的可预见性,并完成穷尽式的鲁棒性测试。但智能体并非遵循固定的代码执行路径,而是基于大语言模型进行思维链推理与自我修正。面对开放式目标,智能体产生的涌现行为及其实时生成的任务路径,决定了其是一个在部署后仍会持续发生突变与演化的动态系统。开发者在部署前客观上无法预见或穷尽测试其可能采取的所有行动轨迹,这使得欧盟《人工智能法案》基于确定性假设的事前认证机制在面对智能体时存在失效风险。

其二,法案内部的归责体系与智能体的技术实现路径存在冲突。一方面,欧盟《人工智能法案》要求高风险系统必须经过有效的人类全程监督,以确保技术可控,但智能体演进的核心技术价值与商业价值,恰恰在于通过自主感知与决策,减少乃至最终脱离人类的微观干预,由智能体结合具体环境自主制定最优操作方案。强制性的人机协同要求在某种程度上消解了智能体的技术先进性。另一方面,法案所建立的是以“线性供应链”为基础的集中式归责体系,与智能体以“开源组件聚合”为特征的去中心化开发生态存在天然的张力。欧盟《人工智能法案》的监管锚点在于明确界定“系统提供者”和“部署者”,并要求提供者承担沉重的首要合规义务。然而,在当前的智能体生态中,系统的构建高度依赖底层基础模型、开源编排框架、第三方插件与外部标准应用程序编程接口(API)的动态拼装。这种分布式创新导致的“有组织的不负责任”使得传统的线性监管链条难以维系。当一个由多方开源模块组装且在运行中持续自主调用外部工具的智能体引发合规危机时,强制追溯单一合规责任人的逻辑不仅会在实务中陷入归责困境,更易将不成比例的合规成本转嫁给提供中间层代码或基础插件的独立开发者,进而对以协同创新为核心的开源生态产生破坏性的抑制效应。

2.基于底层模型能力进行管控:以美国联邦及加州法律为代表

相较于欧盟的系统性立法,美国在人工智能领域的监管格局呈现出明显的碎片化与实用主义特征。以加利福尼亚州为例,其被否决的SB1047号《前沿人工智能模型安全创新法案》(Safe and Secure Innovation for Frontier Artificial Intelligence Models Act)与正式签署生效的SB53号《前沿人工智能透明度法案》(Transparency in Frontier Artificial Intelligence Act)等一系列立法尝试,均以基础前沿模型(Foundation Models)为核心监管对象,试图通过设定算力阈值与模型能力底线来管控重大安全风险。

然而,这种将风险防控重心完全置于底层基础模型,试图通过约束模型危险能力来实现合规的立法路径,不可避免地存在结构性盲区。智能体系统的风险增量并非仅来源于大模型本身的内生幻觉或有害输出,更在相当程度上源自其编排层面的逻辑漏洞以及与广泛插件生态交互时产生的行为失控。以OpenClaw类系统为例,其风险来源至少有三个层面:底层大模型的能力缺陷与安全隐患;编排框架的权限管理与任务规划逻辑中的漏洞;外部工具和插件在被调用时可能引入的安全漏洞与恶意代码。加州SB53法规将合规义务集中于算力超过一定阈值的基础模型开发者,而编排框架提供方、插件开发者与工具市场运营者均未被纳入规范要求。这种以模型为单一锚点的归因逻辑实质上忽视了智能体是一个复合且复杂的系统,忽视了其风险在组件组装与运行交互过程中被系统性放大的事实。模型安全(尤其是模型的前沿风险或灾难性风险安全)并不当然等同于智能体安全,二者之间存在不容忽视的治理间隙。此外,加州立法高度依赖主动披露和事故报告机制。SB53号法案在SB1047的基础上进一步引入了实验室内部的吹哨人保护和特定安全事件的强制报告义务,并要求大型前沿模型的开发者公开披露其前沿人工智能框架,说明其对潜在的灾难性风险的评估结果和缓解措施。然而,这种内含“已知损害后方能启动监管”逻辑的事后救济与披露机制,在智能体风险的隐蔽性、延迟性与跨系统穿透性面前,存在结构性的时序错配。智能体在长程自主任务执行中因记忆投毒或目标偏移所引发的渐进式违规,可能在相当长的时间窗口内不会触发事故报告的阈值条件;风险的发生往往在智能体连续调用多个外部标准应用程序编程接口(API)的复杂链路中被层层掩盖,当损害最终显性化时,事件的根因往往已经过多个系统环节的传递与放大,传统的事故报告机制既难以实现及时阻断,亦难以支撑对损害因果链的精确回溯。

值得关注的是,美国国家标准与技术研究院(NIST)已开始正视智能体的增量风险特征。2026年1月,美国国家标准与技术研究院(NIST)下属的AI标准与创新中心(CAISI)在《联邦公报》上发布了面向全行业的智能体安全意见征集,明确聚焦“将AI模型输出与软件系统功能相结合时”所产生的独特风险。同年2月,AI标准与创新中心(CAISI)正式启动“AI智能体标准倡议”(AI Agent Standards Initiative),标志着美国国家标准与技术研究院(NIST)从此前《AI风险管理框架》中相对静态的模型治理,转向对编排层与生态级治理的系统性关注。该倡议在治理锚点上实现了几项关键转移:从模型行为对齐转向智能体的身份认证与动态权限管理,引入零信任架构;从事前穷尽性测试转向运行时控制与动态权限撤销(runtime revocation);在审计层面提出建立机器间审计日志标准以支撑精准溯源定责;在规范重心上则从前沿模型开发者转向编排层协议与多智能体交互的互操作性安全标准。这一系列举措表明,美国的智能体治理正从碎片化的事后应对向标准化的体系建设演进。

3.基于软硬结合的系统性敏捷治理安排:以新加坡为例

在探索适应智能体系统特性的治理框架方面,新加坡提供了一种具有前瞻性的敏捷与柔性治理范本。2026年1月,新加坡资讯通信媒体发展局(IMDA)发布了全球首个专门针对代理式人工智能的指导文件,即《智能体人工智能模型治理框架》(Model AI Governance Framework for Agentic AI)。该框架延续了新加坡一贯的实用主义导向,旨在重点化解智能体因具备自主规划与执行操作能力而引发的治理难题。其在理念上的重大突破在于明确了将治理重心从“内容把控”向“行为控制”转移,主张治理重点必须从单纯的“测试输出准确性”转移到“控制操作权限与行为边界”,并重申人类对系统最终行为的兜底责任。该框架围绕四大核心支柱为智能体部署提供了顶层治理指导。其一,前期风险评估与界定,要求在部署前为智能体设定清晰的职权范围,明确其可访问的工具与数据源边界,并根据自主程度与潜在影响进行风险分级评估,落实权限最小化原则。其二,建立有意义的人类问责制,强调人机协同不能流于形式审查,对高风险或不可逆操作须设置实质性的人工审批节点,同时警惕监督人员因过度依赖智能体而产生的“自动化偏见”。其三,实施专属技术控制与流程,要求针对智能体特征开展定制化的红队测试,例如模拟提示词注入导致的工具滥用或多智能体交互中的目标偏离,并建议采取沙箱运行与渐进式部署策略,由低风险场景向中高风险场景逐步放开。其四,强调最终用户责任,要求组织向终端用户清晰说明智能体的能力边界与操作范围,并确保用户具备随时中断智能体操作或纠正其行为的有效途径。

除了IMDA的指导文件,新加坡政府开源技术局(GovTech)配套研发的《智能体风险与能力框架》(Agentic Risk & Capability Framework,简称ARC框架),提供了一份更具实操性的指南。ARC框架遵循“以能力为中心”的风险评估逻辑,该能力并非美国加州立法所关注的单独的底层模型的能力,而是智能体的底层能力,并基于“能力越大、控制要求越高”的原则进行风险溯源。ARC框架将智能体风险溯源划分为三个维度:组件风险(基础模型幻觉、API漏洞或记忆机制泄露);设计与架构风险(工作流偏差、多智能体协作目标漂移或权限配置不当);能力风险,包含认知能力(推理、规划与决策引发的有害计划)、交互能力(环境感知与通信引发的注入攻击与欺骗)以及操作/执行能力(执行代码或修改文件引发的系统破坏)。基于上述溯源,ARC框架明确提出了落地过程中需重点防范的五大实质性危害,即错误行动、越权行动、偏见或不公行动、数据泄露以及通过标准应用程序编程接口(API)链条被无限放大的系统性破坏。该框架未停留在理论指引层面,而是同步推出了的“AI守护者”(AI Guardian)测试工具箱,为智能体部署前的定制化红队测试与运行时的安全护栏(Guardrails)提供了标准化工具支撑。

新加坡的治理方案呈现出典型的软硬结合…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/Openclaw/2026051473950.html