生成率从8%到60%:快手智能测试用例生成系统的四阶进化
在《采纳率从7.9%到54%:快手智能Code Review的三阶进化》中,快手研发效能团队重点分享了智能代码审查系统如何通过质量过滤与知识沉淀,将AI能力嵌入研发交付链路,使其从个人辅助工具升级为团队级的协作生产力。但要真正实现从“个人提效”到“组织效能”的闭环,仅优化代码合并前的质量关口仍然不够,AI能力还需要进一步向研发流程的前后环节延展。
在全面推进「AI研发范式升级」的进程中,如何将个人AI工具的零散提效沉淀为组织级的交付能力,是当前效能升级的核心命题。在需求评审之后、测试执行之前,用例设计这一关键环节,正是影响交付质量与效率的另一瓶颈。围绕这一问题,我们构建了智能用例生成系统,实现从手动编写到审核校验的模式转变,这种转变不仅释放了测试人员的构思压力,更让AI升级为流程中稳定、可信的生产力环节。
以往写用例全靠人工硬磨,效率低且难保全。为此,快手研发效能团队复盘了智能用例生成系统的演进路径,总结了快手智能用例生成系统从「Prompt工程探索」到「Multi-Agent人机协作」,再到「知识增强策略」,最终走向「自检测&自进化」的四阶架构演进。
针对生成质量不稳、业务理解浅、维护成本高这三大难题,我们通过「人机协作」兜底质量、「知识工程」对齐业务场景、「自检测&自进化」降低人工维护负担。这套思路直接将用例生成率从8%拉升至60%+,累计生成测试用例逾120万条;该系统已经成为全公司测试人员日常使用的标准化生产力工具,真正跑通了从个人AI提效到组织交付效能提升的闭环路径。
在快手持续推进研发效能提升的过程中,我们对测试阶段各环节的耗时进行了深入分析,测试用例设计阶段(即测试用例编写阶段)在整个测试周期中占据了13.69%的时间成本,与用例执行、回归测试并列为耗时最高的三大环节;这一数据揭示了传统测试模式下的瓶颈:测试人员将大量精力投入在重复性的用例撰写工作中,而非聚焦于更具价值的测试策略设计和缺陷挖掘。
在用例设计提效方面,快手此前主要通过KCase 平台的用例编写在线化能力进行优化。该方案实现了用例模板的规范化与标准化、多人协作编辑与版本管理、用例资产的结构化沉淀。
然而,这种模式本质上仍依赖人工逐条编写,效率提升存在明显天花板。面对快手业务的高速迭代和海量的功能需求,测试团队面临以下挑战:
2023年以来,以GPT系列为代表的大语言模型(LLM)在代码理解、逻辑推理和文本生成方面实现了质的飞跃。快手质量工程团队敏锐捕捉到这一技术拐点,从2024年正式开始启动AI生成手工测试用例的探索项目,目标是将「人工编写」升级为「AI生成 + 人工审核」的全新模式,释放测试人员的生产力。
快手智能用例生成系统从V1.0到V4.0的演进历程,涵盖从初期的Prompt工程探索(生成率8%),到Multi-Agent人机协作模式(生成率12%),再到知识增强策略(生成率35%),最终通过自检测与自进化实现突破性提升(生成率超60%)。目前,该系统已在快手实现公司级60%以上的用例生成率,累计生成测试用例逾120万条。
从8%到60%+的生成率跃升,体现了快手技术理念的持续演进:
1. V1.0:验证了“AI 能够生成测试用例”的可行性
2. V2.0:确立了“人机协作生成优于纯自动化生成”的实践路径
3. V3.0:揭示了“知识比算法更关键”的本质规律
4. V4.0:实现了“AI 自我进化”的能力突破
我们不再纠结于AI是否能够替代人类,而是为“AI如何赋能人类更高效工作”寻求解法。
3.1 V1.0版本:Prompt 工程探索阶段
3.1.1 初版设计思路
核心假设:大模型已具备足够的“测试常识”,只需通过精心设计的 Prompt 引导,即可生成高质量测试用例。
技术方案:V1.0 单体生成流程
3.1.2 核心技术实现
技术架构
Prompt结构设计
初版Prompt架构
存在的问题
第一轮优化:Few-shot Learning
问题分析:生成的用例质量仍参差不齐,主要原因是模型对“高质量用例”的标准理解不足。
解决方案:引入来自业务真实场景的高质量测试用例作为样本,提升模型输出的一致性和专业性。
Few-shot Prompt架构:
关键发现:
提供3个样例为性价比最优选择(边际收益趋于平缓)
样例质量远重于数量(1个高质量样例 > 5个低质量样例)
实际生成效果对比:
第二轮优化:场景化 Prompt 模板
问题分析:不同类型的需求文档(如 PRD、技术方案 等)需要匹配差异化的测试策略,通用 Prompt 难以覆盖多样化测试目标与表达要求。
解决方案:构建多场景路由机制,依据输入文档的类型自动匹配最优的 Prompt 模板,实现精准化、专业化测试用例生成。
3.1.3效果测评
为了验证 Prompt 优化策略的有效性,我们针对多个关键动作开展了系统性测评。测评基于真实业务场景中的 PRD 和技术方案文档,采用统一测试集进行对比评估。
测评一:Few-shot Learning 效果验证
测试场景: 基于 PRD 生成功能测试用例(礼物贴纸玩法模块)
对比组:
对照组: 无 Few-shot 的初始版本 Prompt
实验组:引入3个高质量样例的 Few-shot Prompt
测评结果:
关键发现:
测评二:场景化 Prompt 模板效果验证
测试场…