构建会思考的测试Agent:从自动化到自主智能的演进
摘要
本文介绍一种面向企业级软件测试领域的质量数字人系统,通过将大语言模型(LLM)、多Agent协同架构与Skill Engine技能框架相结合,实现了从传统自动化测试向自主智能测试的跨越。系统核心能力包括:
Skill Engine 技能引擎:声明式技能管理框架,支持按需加载、多维过滤、动态编排,为自主意识提供可插拔的能力底座
两层自主意识架构:规则模式实现确定性条件触发,目标驱动模式支持自然语言描述工作职责与目标,由 LLM 自主规划执行路径,实现从被动响应到主动工作的转变
多渠道与人交互:Web UI + 钉钉直接委派 + 自主通知(单聊/群聊)
智能推荐与预测试:任务检索推荐、热门任务、预执行验证
以数字人为中心的双引擎架构:人设、知识库、履职规范、自主意识、技能集五位一体配置,Multi-Agent 协作引擎驱动被动任务执行,Skill Engine 自主引擎驱动主动决策与工作,构成完整的智能体能力闭环
一、业务背景:
专有云集测质量保障的复杂性与挑战
作为面向政企的专有云解决方案提供商,我们深知专有云产品质量保障工作的极高复杂度。与公有云的中心化测试不同,专有云需要在不同的测试环境中不同的存量和在研版本完成集成部署、版本升级和质量验证,测试流程长、环节多、人工介入点密集。
自动化测试是集测质量保障和效率提升的核心手段。过去专有云团队在功能回归测试领域投入大量精力构建自动化体系,在UI自动化测试(SQA平台)和E2E端到端测试(ASTB平台)上都建立了较高的自动化覆盖率(80%),这为快速验证产品质量、缩短测试周期奠定了坚实基础。然而,即使在高自动化覆盖率的情况下,测试人员仍然面临着巨大的人工成本压力。
高自动化率下仍然存在的人工成本困境
1.1 专有云质量保障的场景复杂性
专有云产品质量保障场景具有显著的复杂性:
特性 | 说明 | 测试影响 |
多环境并行 | 同时维护 3-5 个独立测试环境 | 相同测试流程需在多环境重复执行 |
多版本共存 | 同一产品存在多个主线版本 | 版本升级、兼容性测试工作量翻倍 |
多架构支持 | x86、ARM 等不同 CPU 架构 | 测试矩阵扩大,覆盖组合指数增长 |
多产品协同 | 上百个产品(数据库、大数据、中间件等)集成测试 | 跨产品依赖、集成测试复杂度高 |
这意味着:即使只负责一个产品,测试工程师也需要在多种种环境组合中重复执行相同的测试流程——版本检查、环境升级、测试触发、结果分析、缺陷处理。每增加一个维度,人工成本呈指数级增长。
1.2 高自动化覆盖率下
完成自动化测试执行的实际人工投入
即使在自动化测试体系完善的情况下,质量工程师仍需投入大量时间在以下工作:
📋 测试准备阶段
工作项 | 具体内容 | 耗时占比 |
版本包检查 | 检查 CI/CD 是否有新版本、版本是否通过门禁、选择合适的版本包 | 10% |
环境版本升级 | 登录环境管理平台、执行升级、等待升级完成、验证升级结果 | 15% |
测试范围决策 | 根据版本变更内容选择测试集、确定回归范围、评估测试优先级 | 10% |
🧪 测试执行阶段
工作项 | 具体内容 | 耗时占比 |
平台操作 | 登录测试平台、配置测试参数、触发测试执行 | 5% |
执行监控 | 监控测试进度、处理执行异常、重试失败任务 | 10% |
多环境切换 | 在多个环境间切换执行相同测试流程 | 10% |
🐛 缺陷处理阶段
工作项 | 具体内容 | 耗时占比 |
失败分析 | 分析测试失败原因(环境问题/用例问题/产品缺陷) | 15% |
缺陷提交 | 登录缺陷系统、填写缺陷信息、关联用例 | 5% |
缺陷去重 | 检查是否为已知缺陷、避免重复提交 | 5% |
缺陷定位与指派 | 分析缺陷模块、指派给对应开发人员 | 5% |
缺陷跟踪推动 | 跟进修复进度、推动缺陷闭环 | 5% |
📊 质量运营阶段
工作项 | 具体内容 | 耗时占比 |
报告生成 | 汇总测试结果、生成测试报告 | 3% |
数据分析 | 分析通过率趋势、识别质量风险,风险和问题推进解决 | 2% |
1.3 多平台切换的效率损耗
质量工程师日常工作需要在多个平台间频繁切换:
每次平台切换 = 登录 + 上下文切换 + 操作 + 等待反馈单产品单环境 ≈ 6+个平台轮转 × 多次交互叠加多环境并行 → 人均每日平台切换 50-100 次
核心矛盾:自动化率高但人工成本难降
问题本质
❌ 误区:自动化覆盖率70%+ → 人工成本应该降低70%✅ 现实:自动化覆盖率70%+ → 人工成本仅降低30%原因分析:- 自动化只解决了「用例执行」环节- 其他多个环节仍然需要人工决策和操作- 多环境并行测试,人工成本成倍增加- 人工需要在多个平台间频繁切换
影响:
测试工程师疲于应付环境和平台操作(推动各方解决问题的沟通成本)
测试本来应该最重要的投入(用例/测试点覆盖设计、风险分析)必然受影响
人力资源不足,测试场景容易被跳过
核心诉求:
需要一个具备自主意识的智能系统代替人工使用这些平台工具,不仅能响应人工指令执行任务,更能主动感知环境变化(版本更新、质量波动等),自动完成版本检查、环境升级、测试执行、结果分析、缺陷处理等全流程工作。通过自主意识能力,系统可实现7×24小时无人值守的质量保障。
二、技术背景:从自动化到智能化的演进
2.1 现有 AI Agent 平台的能力与局限
随着大模型技术的快速发展,市场上涌现了大量 AI Agent / AI 助手构建平台,可提供了工作流编排、MCP/API 工具集成、知识库 RAG、多轮对话等通用能力。通过这些平台,可以快速搭建 AI 助手,实现"一句话下发任务 → 助手调用工具执行"的基本模式。
然而,当我们尝试用这些通用方案落地到专有云质量保障这一垂直领域时,暴露出一系列结构性问题:
问题 1:被动响应,缺乏自主意识
当前几乎所有 AI Agent 平台的交互模型都是"用户发起 → Agent 响应",即被动执行模式:
当前 AI Agent 平台的工作模式:用户提问/下发指令 → Agent 理解意图 → 调用工具 → 返回结果 → 等待下一条指令...缺失的能力:❌ 无法主动感知外部变化(如版本更新、测试通过率下降)❌ 无法自主决策是否需要执行某个任务❌ 无法 7×24 小时无人值守地持续工作❌ 无法按照工作职责和目标自主规划执行路径
核心缺陷:通用 AI Agent 只是一个"等待指令的工具",而非一个"具备工作意识的员工"。质量保障需要的是能够主动巡检、主动发现问题、主动触发测试的智能体,而不是每次都需要人工发起对话。
问题 2:工具集成停留在表面,难以深入企业内部平台
通用平台提供了 MCP 协议、HTTP API 调用等标准化工具集成能力,但在专有云场景下面临严峻挑战:
集成难点 | 具体表现 | 影响 |
认证体系封闭 | 企业内部平台可能采用独立的认证体系 | 通用平台直接对接麻烦 |
接口非标准化 | 内部平台 API 设计各异,缺少统一规范,参数复杂、返回格式多样 | 需要大量适配开发 |
业务流程复杂 | 一次版本升级涉及"查询版本 → 对比 → 升级 → 轮询等待 → 验证"多步骤长流程 | 简单的单次 API 调用无法覆盖 |
多平台串联 | 完成一次回归测试需要串联 CI/CD、环境管理、测试平台、缺陷系统 4+ 个平台 | 通用工作流编排难以处理跨平台状态依赖 |
网络隔离 | 部分平台部署在内网环境,有网络访问限制 | 云端 SaaS 型 Agent 平台无法直连 |
核心缺陷:通用 Agent 平台的工具集成是"浅层对接"——能调单个 API,但无法实现多平台、多步骤、长流程的端到端串联和状态管理。
问题 3:单一助手无法满足多角色、多业务的差异化需求
即使构建了 AI 助手,在实际推广中会发现"一个助手根本不够用":
不同业务的差异:- 数据库产品测试 vs 大数据产品测试:流程、规范、工具链各不相同- A产品每次升级取最新打标 cipass 版本,B产品取最新构建版本- 不同产品的测试集命名规则、参数映射、异常处理逻辑都不一样不同工程师的差异:- 资深工程师:希望自动化程度高,减少人工确认- 新手工程师:希望提供详细说明,辅助学习和决策- 质量 leader:希望生成管理视角的报告和趋势分析不同团队的差异:- A团队:对缺陷提交有特殊的标准和模板要求- B团队:测试报告需要包含特定的风险评估维度- C团队:需要特殊的参数映射和版本选择规则
通用 Agent 平台的困境:
提示词调教成本高:每个业务、每个团队都需要独立调教,效果不稳定;
知识无法隔离:不同产品的知识、规范、经验混在一起,互相干扰;
配置无法继承:无法实现"全局默认配置 → 团队配置 → 个人配置"的层级覆盖;
角色无法差异化:同一个助手面对不同角色的用户,无法提供差异化的交互和服务;
问题 4:缺少领域知识沉淀和持续学习能力
通用 AI Agent 平台虽然支持知识库(RAG),但在领域知识管理方面存在明显不足:
知识与执行脱节:知识库用于问答,但无法影响任务执行决策(如根据历史测试数据决定是否跳过某个测试集)
经验无法自动沉淀:每次任务执行的结果、决策过程、异常处理经验无法自动回流到知识库
缺少历史复用能力:无法基于历史相似任务推荐执行方案,每次都从零开始
无法个性化绑定:知识库是全局共享的,无法实现每个"助手实例"绑定独立的专属知识
问题 5:缺乏复杂任务的多 Agent 协作能力
质量保障全流程(版本升级 → 测试执行 → 缺陷处理 → 结果汇总)涉及多个专业领域,单一 Agent 难以胜任:
上下文膨胀:将所有专业能力(版本管理、测试执行、缺陷分析、报…