PagePilot — PC端AI测试Skill设计与实战

阿里妹导读


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

一、背景介绍

支付宝商家中心(b.alipay.com)是支付宝官方的商家服务平台,面向蚂蚁生态内所有商家,聚合产品签约、账户资金管理、营销运营、账单对账等能力,为商家提供一站式综合服务,帮助其更高效地开展日常经营,我们团队负责该平台的 PC 端业务测试。

1.1 问题与挑战

挑战1:基本都是面向B端和小二端,PC端业务多,测试链路长:

以支付宝商家中心核心业务为例,店铺开通、商户入驻每一条都是跨系统、多步骤的长链路:

  • 店铺开通:登录 → 选类目 → 选经营类型 → 设置结算 → 上传资质 → 勾协议 → 提交 → 产品签约 → DB验证,一个case 15+步

  • 商户入驻:营业执照OCR → 经营场景 → 法人身份证 → 人脸核验 → 邮箱绑定 → 密码设置 → 签约,20+步

挑战2:以前的PC测试,不管是人工测试还是人工编写自动化脚本,都需要极高的人工投入成本

由于商家的业务特点是步骤多、弹窗多、上传多、异步等待多、SPA路由复杂。传统自动化写case维护成本极高,React受控组件、qiankun微前端fetch隔离、弹窗内状态被上传重置,每个都是坑。踩一个坑写一段workaround,换个业务场景又从头开始。再加上公司内除商开部门外,其它对PC自动化依赖不高,也使得自动化平台存在功能扩展慢(qiankun微前端、非标组件不支持)、录制调整成本高、部分功能不支持等问题。

在自动化ROI比较低的情况下,商开部门的大量外包总是需要花费大量时间去执行前端页面点点点的验证,事情繁琐,人力成本仍然极高。

挑战3:PC端线上问题风险高,在前端正式研发人员不断缩减的过程中,风险进一步放大。

PC端是商家的主入口,在近几年内先后出现过:由于组件升级导致某商家子页面不可用/提交报错等阻断性问题,由于前端代码冲突导致某个关键字段没有提交至服务端带来重大线上问题。并且由于前端监控覆盖率的缺失,以及前后端核对难以布防等痛点,使很多前端线上问题的影响面不断放大最终导致客诉。

1.2 AI时代下的思考

核心思路转变:不写测试代码,写测试知识。把踩过的坑、验证过的交互代码、有效的DOM选择器封装成"组件md",AI执行时查阅对应组件直接复用,每一次执行都在让组件库更完善,稳定性随知识积累递增。

核心公式:AI Agent + 组件化知识库 + 浏览器自动化 + DB验证 = 端到端AI测试

二、解决方案设计

关键词:稳定·通用·轻量

稳定执行不出错,一套方案通多业务,开箱即用成本低。AI 替你跑浏览器、填表单、查 DB、分析trace、出报告、发钉钉,验收一条龙。

2.1 方案演进:从使用平台到自建 Skill

初期选用店铺业务作为试点,先后尝试了平台提供的两类 AI 测试能力。

  • 自然语言驱动:模型对自然语言理解不稳定,导致 Case 编排出现偏差;执行下游存在资源瓶颈,单 Case 执行成功率低;前置步骤繁琐,需先配置空间测试账号、选择登录方式和执行账号。尤其店铺场景存在账号独占性(一个账号只能开通一个店铺),审核通过后该账号即不可复用,每次执行需重新配置账号,流程沉重。

  • 智能测试流:平台作为解决自然语言理解不稳定问题的推荐方案,但实际落地后,录制本身有成本,录制后仍需手动调整 Case 编排;后置执行也并不能解决业务问题

实践过程中,平台方案在商家侧场景中暴露出明显短板:

痛点

具体问题

账号体系受限

不支持指定账号切换,审核通过分支每次必须换号,全流程 Case 无法自动执行

流程控制粒度不足

录制产出需大量手动修正;无法衔接 DB 验证、语雀归档等非浏览器环节,断链需人工补接

文件上传能力缺失

多处图片上传(营业执照、身份证、门头照)无法指定文件与校验

验证手段单一

无法获取接口响应和 trace_id,无法从 URL 提取业务单号串联 DB 验证,页面验证仍依赖人工

扩展受平台排期约束

qiankun fetch 隔离、非标组件、CDP 真实鼠标事件等均需等排期,无法自主解决

结论:平台方案在通用场景具备一定价值,但在多步骤、强状态、深交互的业务场景中,执行稳定性、维护成本与适配性尚存差距。经一个月持续协作,店铺场景核心能力仍在推进中,暂未跑通完整链路。为更快支撑 AI 测试转型,决定同步探索自建 Skill 方案。

2.2 Skill 设计:框架选型

选型原则:能稳定执行。

Browser Agent 相比 Playwright 的核心差异是在 CDP 之上引入了大模型推理层,能理解自然语言意图、自主定位元素并生成操作序列,省去预编写选择器脚本。简单页面导航和基础表单,它能精准理解步骤描述、准确定位交互位置。但在商家侧的复杂组件上,通用推理难以覆盖边界情况,执行出现大量偏差:

问题

偏差

解法

React 受控组件

input.value = 'xxx' 赋值后 React 不感知,提交拿不到值

走 prototype.value setter + dispatchEvent 触发合成事件

图片上传

CDP 无法操作原生文件选择 dialog

绕过 dialog,用 DOM.setFileInputFiles 直塞文件路径

Cascader 异步加载

AI 倾向跳级选择,面板未展开就点击

逐级选 + 等待 500ms 下级菜单渲染

异构搜索组件

同一"搜索"功能三种实现(ant-select / .optionItem / input+button),定位策略不统一

DOM 预扫描判断组件体系,分别走对应交互路径

上传触发重渲染

上传多图后 radio/cascader 被清空

先上传、再选 radio/cascader、最后填 input,顺序与直觉相反

SPA 路由销毁拦截器

提交前注入的 fetch 拦截器被路由切换销毁,拿不到响应

每次 submit 前 0.5 秒内重注入,不等"之前装过就用"

按钮无响应

button.click() 和 dispatchEvent 均不响应

用 CDP 真实鼠标事件(mouse move → down → up)

页面崩溃表单丢失

CDP session 崩溃,已填表单全部丢失

window.__formState 表单快照 + 崩溃后重登恢复,上传放最后最小化崩溃暴露面

这些问题的共性是同类交互的底层实现因框架、组件库、业务场景而异,我们靠组件知识逐一沉淀。每遇到一个偏差,就把正确的交互方式写入组件 md 的踩坑段,下次直接复用而非重新推理。踩坑段只增不删,即使 bug 已修复也保留记录,避免同类问题换一种表现形式再次出现。不同业务场景持续喂入、持续校正、持续沉淀。随机出错率从首轮 40% 降到 4 轮后 5% 以下,靠的就是踩坑段的积累效果。它不是一次写对的,是在业务锤炼中变聪明的。

三、skill架构设计

3.1 架构图

3.2 核心设计

1. Case 解析:四趟编译——把人话变成机器能跑的指令

用户写 Case 用自然语言,但 AI 不能直接拿着自然语言操作浏览器。于是设计了一个四趟编译管线,把人话逐步"翻译"成可执行内部指令,每一趟只做一件事、只承担一个职责,既保证解析精度,也让错误能被早发现、早拦截。

第 1 趟|风格检测

职责:识别 Case 写法,用户不需要声明格式。

用户可能用三种风格写 Case:AI 自动识别风格,用户无需指定,降低使用门槛的第一步。

表格风格(推荐,最易解析):

序号

操作

参数

1

选择主营类目

本地生活-餐饮

2

填写经营类型

个体工商户

自然语言风格:"主营类目选本地生活-餐饮" (最常见、最灵活)

帮我执行 新增非标品牌 → 审核通过站点:B站预发 https://b.alipay.com/page/brandManage/home账号密码:**** / ***数据库:数据库ARN:*****商户载体ID(carrierId):******审核工具:brand-audit skill操作步骤:登录B站,进入品牌管理首页点击【添加品牌】→ 跳转 /page/brandManage/home/brandReport添加方式:选择【新增品牌】品牌材料:选择【非标品牌】品牌名称:输入「测试+当前时间戳」点击「补充更多品牌信息」,品牌logo:上传reference里的图片品牌故事:输入「这个是一个品牌故事」品牌类目:选择 电商平台 → 工厂优选平台门头店招:上传reference里的图片勾选同意《支付宝品牌商服务协议》点击【确定】→ 跳转 /page/brandManage/home/confirmResult,提示"已提交,预计1-2个工作日完成审核"审核(brand-audit skill):从提交结果页获取brandId调用 brand-audit,action=pass,eventCode=****_AUDIT等待10s预期结果:提交后跳转确认页,文案含"已提交"回到首页,已认领列表可见该品牌,状态为"审核通过"/"可使用"DB校验:SQL-- 品牌主表:status=1(已通过),source=MRCH,owner_name=**测试的公司SELECT * FROM **** WHERE brand_chs_name = '{brandName}' …
— 以上为试看内容(约 40%),开通会员后阅读全文 —