AI手工测试用例的实践进阶之路

这篇文章分享一条真实的落地路径:我们不是直接追求“AI 一键生成完美用例”,而是先用 MVP 验证方向,再用 1.0 补齐输入解析、Prompt 工程化、知识工程和检索闭环,最后把能力沉淀到测试智能体并skill化赋能“小龙虾”。文末会给出可直接复用的实践方法与避坑点。                                -- AI用例生成项目组

一、问题:传统手工用例在复杂业务下的挑战

手工测试用例一直是质量保障的核心资产,但在今天的研发节奏下,传统模式正在暴露结构性瓶颈。

第一,输入信息碎片化。测试同学面对的不再只是 PRD 文本,还包括交互原型、业务流程图、技术方案、接口改造说明和代码差异。信息源变多后,理解成本线性上升,遗漏概率却是指数级上升。

第二,时间窗口持续收缩。需求评审、开发联调、提测上线都在加速,留给测试设计的时间越来越短,很多团队被迫在“覆盖深度”和“交付速度”之间做取舍。

第三,质量依赖个人经验。相同需求在不同测试同学手里,输出风格和覆盖深度差异明显;一旦换人,历史经验无法稳定复用。

第四,知识沉淀难形成复利。历史用例、缺陷复盘、业务规则都在,但缺少统一组织和高质量召回机制,导致“有知识,不好用”。

所以我们当时的判断是: 真正需要升级的不是写作效率,而是测试设计这条生产链路本身。

二、MVP 阶段:初步验证 AI 能效

2.1 思路:工程化关键环节,不推翻人工流程

MVP 没有追求功能大而全,而是围绕一条最小可用链路做闭环:

需求理解 -> 功能点提取 -> 场景设计 -> 结构化输出

这条链路本质上仍然遵循人工测试思维,只是把高重复、高消耗、强经验依赖的环节交给模型与工作流系统。


MVP闭环架构

MVP版本延续人工测试思路,把需求理解、功能点提取、用例设计与结构化输出串成可运行闭环。

2.2 交付方式:支持探索和交付两类场景

为了覆盖实际工作场景,我们在 MVP 中提供了两种使用方式:

  • 对话模式:适合需求澄清、快速追问、拿初稿。
  • XMind 模式:适合形成结构化资产,直接进入评审、执行和沉淀。

MVP对话生成示例

MVP已支持对话式生成,输入自然语言后可快速产出测试点与测试内容草稿。

2.3 目标:验证 AI 可行性

MVP 重点验证两个问题:

  • AI 是否真的能沿着测试思维链路工作,而不是只会“写得像”?
  • 哪些问题是“单模型 + 单 Prompt”无法自然跨越的?

我们很快得到答案:方向是对的,但链路还有明显短板。

三、MVP 关键瓶颈梳理

3.1 多模态理解弱,难识别图中关键信息

在真实测试场景里,大量核心信息不在正文,而在原型图、流程图、架构图里。MVP 对这类信息的解析能力有限,导致输入偏差直接传递到输出。

3.2 长上下文不稳定,复杂就遗漏

当需求涉及多个角色、模块和状态流转时,模型难以稳定维持全量上下文,容易出现覆盖不完整、边界条件缺失、异常路径漏测。

3.3 领域语义缺失,仅像用例而不可执行

缺少业务术语、流程规则、历史缺陷模式时,结果会出现典型问题:格式正确、措辞专业,但与业务重点不贴合。

这三类问题直接指向一个结论: 问题核心不在模型参数,而在输入治理、知识组织与生成流程设计。

四、1.0 :模型能力走向系统能力

4.1 思路:从一次性交付到可维护工作流

1.0 的升级不是“换个更强模型”这么简单,而是从工程角度重构整条链路:

  • 输入侧:支持多源材料接入和前置解析;
  • 处理中间层:做结构化抽取、知识补全、分步生成;
  • 输出侧:保证格式统一、去重优化、可评审与可追踪。

1.0 总体工作流

1.0 阶段从单点生成扩展为多源输入、结构化解析、知识补全、用例设计与格式化输出的完整流程。

4.2 输入前置:功能点先抽象再生成用例

我们把链路升级为:

多源输入 -> 智能解析 -> 功能点抽取 -> 补全校验 -> 用例生成

和 MVP 相比,最大的变化是把“输入前置处理”独立成能力层。这样做的收益非常明显:当上游输入被标准化后,下游生成稳定性显著提升。



功能点前置抽取流程

文档解析与功能点生成前置后,系统先完成模块拆分和补全校验,再进入具体用例设计。

4.3 多模态解析:图像信息统一语义链路

1.0 将图像理解纳入主链路,通过视觉特征提取、OCR 文本识别与语义对齐,将原型图、流程图、时序图转换成可计算的结构化描述。

多模态解析流程

多模态解析把非文本输入结构化,补齐纯文本方案的理解盲区。

关键价值不在“识别图片”本身…

— 以上为试看内容(约 40%),开通会员后阅读全文 —