Harness 与 Agent 工程 · AI研发与测试工程 · 2026-07-25

内部流出:快手质量中台用大模型做“智能冒烟”,提测就打回,研发再也不敢敷衍

大模型赋能智能冒烟测试,快手研发提测通过率从43%跃升至91%,研发不敢再敷衍! 核心内容:

  1. 冒烟测试失效的现状与问题
  2. 大模型智能冒烟测试的技术方案
  3. 实施后的显著数据成果与效果

从“人肉验尸”到“AI门神”,研发提测通过率从43%干到91%

大家好,我是快手质量中台的一名技术负责人,负责研发质量门禁体系建设。

今天想聊一个让所有测试同学都解气的话题——用大模型做智能冒烟测试,把研发提测质量的门槛焊死。

先上数据:系统上线半年,研发提测通过率从43%提升到91% ,冒烟测试的人力投入从每版本4人天压缩到完全自动化,研发被“打回重做”的次数从平均每版本2.3次降到0.4次。

研发同学再也不敢拿“我本地跑过了”来敷衍了。

一、冒烟测试为什么成了“形同虚设”?

先说说冒烟测试这个环节在快手是怎么沦陷的。

我们的业务迭代速度有多快?主站每天几百次代码合入,每周几十个版本提测。冒烟测试的本意是“提测前快速验证核心功能是否可用”,但在实际执行中,这个环节基本废了。

研发侧的问题:提测前自己跑一遍冒烟?不存在的。大部分人把代码一合、本地随便点两下就算“自测过了”。更离谱的是,有人连编译都没过就直接提测了。

测试侧的问题:接手的测试同学得先花半天到一天跑一遍冒烟用例,跑不通就打回让研发修,修好了再提测,再跑一遍。一个版本来回折腾两三次是常态。

最坑的是:冒烟用例本身是人工维护的,业务迭代快,用例根本跟不上代码变更。测试同学花大量时间维护冒烟用例,结果覆盖的都是一些“过时”的功能,真正容易出问题的核心链路反而没覆盖到。

说白了,冒烟测试成了测试团队替研发擦屁股的环节,而不是质量门禁。

二、转折:把冒烟测试做成“智能门禁”

去年下半年,质量中台启动了一个项目——把冒烟测试从“人肉执行”升级为“AI自动门禁” 。

目标很明确:研发提交代码合入请求时,AI自动执行冒烟测试,不通过就直接拦在门外,不让合入。

这个想法听起来简单,但落地过程中踩了无数坑。下面我把整个方案拆开来讲。

三、技术方案:三层架构

我们的智能冒烟系统分成三层:

第一层:用例生成层 —— AI自动生成和维护冒烟用例

第二层:执行引擎层 —— 自动化执行 + AI结果判定

第三层:门禁控制层 —— 与Git/CI系统打通,自动拦截

第一层:AI自动生成冒烟用例(这是最核心的突破)

传统冒烟用例全靠人工维护,业务一变就废。我们让AI来做这件事。

第一步:从PRD和代码变更里“读懂”要测什么

当研发提交一个MR(Merge Request)时,系统自动拉取:

然后AI分析这些信息,自动生成针对本次变更的冒烟用例集合。

举个例子:研发改了“直播间礼物赠送”的逻辑,AI会自动生成:

完全不需要人工写一行用例。

第二步:从历史Bug里学“哪些地方最容易出事”

光靠PRD生成的用例太“正”了,容易漏掉边界场景。

我们把过去三年的几千个线上Bug喂给了大模型,让它学会:

然后AI在生成冒烟用例时,会自动补充这些高风险场景。

真实案例:有一次一个研发改了“评论点赞”的逻辑,改动很小。但AI从历史Bug里检索到——这个模块在高并发场景下出过两次P0(点赞数错乱)。于是AI自动在冒烟用例里加了一条:“模拟100个用户同时点赞同一评论,验证计数是否准确”。

这条用例如果靠人工写,大概率会被忽略。而正是这条用例,在冒烟阶段就拦住了那次提测——代码在高并发下确实有问题。

第三步:用例的“自进化”

冒烟用例不是生成一次就完了。每次冒烟执行后,系统会自动分析:

这就是快手在AI测试探索中强调的 “自检测&自进化”能力。目前我们的冒烟用例库已经积累了超过120万条自动生成的用例,每天还在持续迭代。

第二层:AI自动执行 + 智能判定

用例生成了,谁来执行?怎么判断结果对不对?

执行层面:我们有一套自研的UI自动化执行引擎,可以模拟用户在真实App上的操作。AI生成的用例是自然语言描述的(比如“点击礼物面板”),执行引擎会自动理解并转化为具体操作。

判定层面:这是最大的技术难点。

传统自动化测试的“通过/失败”判断靠的是断言——比如…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/shuziyuangong/2026072532981.html