从“人肉验尸”到“AI门神”,研发提测通过率从43%干到91%
大家好,我是快手质量中台的一名技术负责人,负责研发质量门禁体系建设。
今天想聊一个让所有测试同学都解气的话题——用大模型做智能冒烟测试,把研发提测质量的门槛焊死。
先上数据:系统上线半年,研发提测通过率从43%提升到91% ,冒烟测试的人力投入从每版本4人天压缩到完全自动化,研发被“打回重做”的次数从平均每版本2.3次降到0.4次。
研发同学再也不敢拿“我本地跑过了”来敷衍了。
一、冒烟测试为什么成了“形同虚设”?
先说说冒烟测试这个环节在快手是怎么沦陷的。
我们的业务迭代速度有多快?主站每天几百次代码合入,每周几十个版本提测。冒烟测试的本意是“提测前快速验证核心功能是否可用”,但在实际执行中,这个环节基本废了。
研发侧的问题:提测前自己跑一遍冒烟?不存在的。大部分人把代码一合、本地随便点两下就算“自测过了”。更离谱的是,有人连编译都没过就直接提测了。
测试侧的问题:接手的测试同学得先花半天到一天跑一遍冒烟用例,跑不通就打回让研发修,修好了再提测,再跑一遍。一个版本来回折腾两三次是常态。
最坑的是:冒烟用例本身是人工维护的,业务迭代快,用例根本跟不上代码变更。测试同学花大量时间维护冒烟用例,结果覆盖的都是一些“过时”的功能,真正容易出问题的核心链路反而没覆盖到。
说白了,冒烟测试成了测试团队替研发擦屁股的环节,而不是质量门禁。
二、转折:把冒烟测试做成“智能门禁”
去年下半年,质量中台启动了一个项目——把冒烟测试从“人肉执行”升级为“AI自动门禁” 。
目标很明确:研发提交代码合入请求时,AI自动执行冒烟测试,不通过就直接拦在门外,不让合入。
这个想法听起来简单,但落地过程中踩了无数坑。下面我把整个方案拆开来讲。
三、技术方案:三层架构
我们的智能冒烟系统分成三层:
第一层:用例生成层 —— AI自动生成和维护冒烟用例
第二层:执行引擎层 —— 自动化执行 + AI结果判定
第三层:门禁控制层 —— 与Git/CI系统打通,自动拦截
第一层:AI自动生成冒烟用例(这是最核心的突破)
传统冒烟用例全靠人工维护,业务一变就废。我们让AI来做这件事。
第一步:从PRD和代码变更里“读懂”要测什么
当研发提交一个MR(Merge Request)时,系统自动拉取:
- 本次变更涉及的代码文件
- 关联的需求文档(PRD)
- 变更影响的功能模块
然后AI分析这些信息,自动生成针对本次变更的冒烟用例集合。
举个例子:研发改了“直播间礼物赠送”的逻辑,AI会自动生成:
- 打开直播间 → 点击礼物面板 → 选择礼物 → 点击赠送 → 验证礼物数量扣减 → 验证主播收到礼物通知
完全不需要人工写一行用例。
第二步:从历史Bug里学“哪些地方最容易出事”
光靠PRD生成的用例太“正”了,容易漏掉边界场景。
我们把过去三年的几千个线上Bug喂给了大模型,让它学会:
- 哪些功能模块历史上出事最多
- 哪些场景下最容易触发Bug
- 哪些“看起来没问题”的地方其实藏着雷
然后AI在生成冒烟用例时,会自动补充这些高风险场景。
真实案例:有一次一个研发改了“评论点赞”的逻辑,改动很小。但AI从历史Bug里检索到——这个模块在高并发场景下出过两次P0(点赞数错乱)。于是AI自动在冒烟用例里加了一条:“模拟100个用户同时点赞同一评论,验证计数是否准确”。
这条用例如果靠人工写,大概率会被忽略。而正是这条用例,在冒烟阶段就拦住了那次提测——代码在高并发下确实有问题。
第三步:用例的“自进化”
冒烟用例不是生成一次就完了。每次冒烟执行后,系统会自动分析:
- 哪些用例经常发现Bug → 标记为“高价值用例”,永久保留
- 哪些用例从来没发现过问题 → 标记为“低价值”,自动降频或淘汰
- 哪些新场景没有被覆盖 → 自动补充
这就是快手在AI测试探索中强调的 “自检测&自进化”能力。目前我们的冒烟用例库已经积累了超过120万条自动生成的用例,每天还在持续迭代。
第二层:AI自动执行 + 智能判定
用例生成了,谁来执行?怎么判断结果对不对?
执行层面:我们有一套自研的UI自动化执行引擎,可以模拟用户在真实App上的操作。AI生成的用例是自然语言描述的(比如“点击礼物面板”),执行引擎会自动理解并转化为具体操作。
判定层面:这是最大的技术难点。
传统自动化测试的“通过/失败”判断靠的是断言——比如…