从0到1搭建测试专用Skills库:自动断言+数据构造+多模态识别
目录
一、生成式测试来了,没人再手写“等于预期” 二、测试的底层资产从“用例”变成“Skill” 三、三类核心Skill的技术拆解 四、三个真实场景:手工作坊 vs Skills流水线 五、行业参照:OpenClaw/Claude Code的测试Skill思路 六、三步落地:从第一个私有Skill到团队Skill库 七、你的测试用例,还能被复用几次?
最近半年,我观察到一个有意思的现象。
很多测试团队开始不招“会写Selenium脚本”的人了。取而代之的是,面试题变成了“你如何让AI自动判断这段JSON返回对不对”、“如何用一条指令生成100条合法用户数据”、“如何教AI看懂一张截图里的按钮状态”。
不是招聘标准变了。是测试对象变了。
以前的测试对象是代码,你用断言函数比较两个值。现在的测试对象是大模型输出、AI生成内容、多模态交互。你没法写“assert equals”去判断一段自然语言是否正确,也没法写正则去验证一张图片里有没有出现半个图标。
很多人已经开始感觉到:不是AI在做测试,而是你根本不知道怎么测AI。
一、生成式测试来了,没人再手写“等于预期”
先看三个真实场景。
场景A:你测一个AI代码助手。它生成了一个函数,你要判断这个函数有没有bug。传统做法是人工review或者静态扫描。但AI每次生成的代码都不一样,你没法写断言。
场景B:你测一个电商推荐系统。每次请求需要构造一个用户画像——年龄、浏览历史、购买记录、实时位置。传统做法是写脚本随机生成。但数据关联性一复杂,随机生成的数据根本覆盖不了业务规则。
场景C:你测一个多模态应用,比如“拍照识物”。AI返回了一段文字描述和一张标注图。你怎么验证标注框的位置对不对?文字描述里有没有幻觉?传统断言完全失效。
这三个场景不是边缘案例,而是2026年测试工程师每天都要面对的主流场景。
字节跳动的AI测试团队在2025年底公开过一组数据:在使用传统自动化测试框架时,AI类产品的测试用例维护成本是普通产品的4.7倍。核心原因是输出不确定,断言写不了。
本质是:确定性系统的测试方法,在非确定性系统面前彻底失效了。
观点句1:测试的底层逻辑变了——从“校验输出”变成“校验能力”。
二、测试的底层资产从“用例”变成“Skill”
以前的测试资产是“测试用例库”。一个用例对应一个输入输出对。维护成本随场景数量线性增长。
现在的逻辑完全不同。
Skill是一个“能力单元”。它封装的不是一个具体输入输出,而是一种“做某件事的方法”。比如“判断代码有没有bug”是一个能力,“构造一个20-30岁、有3年工作经验的程序员画像”是一个能力,“检查图片里按钮是否可点击”是一个能力。
核心区别在哪里?用例是一次性的,Skill是可组合、可复用的。
当你有了一个“构造合法邮箱地址”的Skill和一个“生成随机密码”的Skill,你可以在不写新代码的情况下,组合出“构造注册请求数据”的Skill。这种组合能力让测试资产从线性增长变成指数复用。
实际上,业界已经在做这件事。Anthropic的Claude Code引入Skills机制,Cursor的Composer模型背后是多Skill编排,OpenClaw则把Skills作为核心扩展单元。
三、三类核心Skill的技术拆解
下面直接拆解三类测试Skill怎么设计。我会给出抽象层面的实现逻辑,不绑定具体代码。
类型1:自动断言Skill
输入:一段文本/结构化数据 + 断言规则描述 输出:通过/不通过 + 失败原因
设计要点:
本质是把“人工判断逻辑”翻译成结构化描述,交给大模型执行判断,同时约束输出格式。
具体做法:
定义断言Schema,比如 { "passed": boolean, "reason": string, "evidence": string }在Skill的提示词里明确约束:不允许输出其他内容,不允许用模糊词(“大概”“可能”) 针对数值类断言,要求模型先提取数值再比较,避免幻觉
为什么这么做?因为没有约束的大模型会给你写小作文,没法集成到自动化流程。强制结构化输出后,断言Skill的输出可以直接被下游流程消费。
解决的痛点:AI输出的内容无法用传统断言覆盖,比如“这段话的语调是否积极”“这个解释是否逻辑自洽”。
类型2:数据构造Skill
输入:数据规格描述(如“20-30岁,月收入8k-15k,购买过3C产品”) 输出:符合规格的JSON数据
设计要点:
核心是对“数据合法性”的定义和约束传播。复杂点在于关联字段,比如年龄和收入要有相关性,不能给18岁配50万年薪。
具体做法:
使用约束求解的思路,在Skill内部维护字段之间的依赖关系(通过JSON Schema的 dep…