高质量测试 Skill 编写手册 -- 渐进式披露
关注 霍格沃兹测试学院公众号,回复「资料」, 领取人工智能测试开发技术合集
什么是渐进式披露
渐进式披露是高质量 Skill 中最基础也最重要的技巧之一。 用一句话表达就是:不要把所有的规则和知识都一股脑的写在提示词中交给大模型,而是只在必要的时候,加载对应的知识。
为什么需要渐进式披露
在大模型领域有一句话叫上下文腐坏,我通常喜欢叫它上下文污染,但意思都是一样的。当交给大模型的上下文过长的时候,这些内容就会让大模型产生误判,或者说让大模型的注意力转移,把真正重要的内容忽略掉(没办法,transform 模型本质上还是用注意力模式构建的)。 这一点在复杂任务下会尤其明显。
在我们的自动化测试工程中,通常都会由 AI 来完成代码生成的工作,但很多同学总会反馈 AI 生成的代码一次通过率很低,大模型总会在一些细枝末节的地方出纰漏,或者没有理解准确我的意思。 这很可能是长上下文带来的影响。
这其实很好理解,整个自动化测试的项目太大了, 我们历史上可能已经构建了数千条测试用例。这些测试用例之间可能由于场景特性,相近的功能,但用了略有差异的执行和验证方式。这些就会给大模型带来困扰。我们应该让大模型只去理解那些必要的知识,而非把所有东西一股脑扔给他。
人工智能技术学习交流群
伙伴们,对AI测试、大模型评测、质量保障感兴趣吗?我们建了一个 「人工智能测试开发交流群」,专门用来探讨相关技术、分享资料、互通有无。无论你是正在实践还是好奇探索,都欢迎扫码加入,一起抱团成长!期待与你交流!👇
要如何做到渐进式披露
概念好理解,但概念太虚了,我要怎么实操呢? 这里我们先给出一个例子。 在我的编写接口自动化测试的 SKILL.md 中, 最开头就有这样一段:
# 自动化测试用例编写 - 公共知识库
## 工作流(必须严格按顺序执行)
每次编写测试用例时,**必须按以下工作流依次执行**:
### Step 1:阅读规则
1. 阅读本文件,获取公共模块知识
2. 根据用例所属功能域,读取 `references/` 目录下对应的参考文件(见下方分层索引)
3. 读取用例目标目录下的 `.rules` 文件,获取该目录的特定规则
### Step 2:参考已有用例
1. 在用例目标目录下,找到 1-2 个功能最相近的已有测试用例文件
2. 阅读这些用例的完整代码,学习其基类、导入、写法、命名、步骤风格
3. 新用例的风格必须与同目录已有用例保持一致
#### 分层参考文件索引
根据要编写的用例所属功能域,**必须读取**对应的参考文件:
| 功能域 | 参考文件 | 对应用例路径 |
|--------|---------|------------|
| 权限测试 | [`references/auth.md`](references/auth.md) | `cases/platform_management/auth/` |
| 计费测试 | [`references/billing.md`](references/billing.md) | `cases/platform_management/price/` |
| 提示词模板 | [`references/prompt-tpl.md`](references/prompt-tpl.md) | `cases/prompt_templates/` |
| 模型广场 | [`references/model-market.md`](references/model-market.md) | `cases/model_marketplace/` |
| 插件广场 | [`references/plugin-market.md`](references/plugin-market.md) | `cases/plugin_marketplace/` |
| 多Agent模型 | [`references/multi-agent.md`](references/multi-agent.md) | `cases/app_dev/multi_agent_model/` |
> **重要**:编写特定领域用例时,必须先读取对应的 `references/*.md` 文件,获取该领域的基类、Service、测试模式等专用知识。
在 references 目录下的文件:
在这段 skill 的工作流中,首先说明需要大模型根据测试…