AI提效:编写性能测试的skills实战
skill概览
我们先看一下这个 skill 的目录结构:
.codebuddy/skills/perf-test/
├──assets/# 测试数据文件
│├──apps.json# 应用数据
│├──perf_docs_list.jsonl# 文档列表(压测用)
│├──shared_kbs.json# 共享知识库数据
│├──spaces.json# 空间数据
│└──test_full.json# 完整测试数据
├──references/# 参考文档
│├──api-notes.md# API 接口说明
│└──locust-cookbook.md# Locust 使用手册
├──scripts/# 脚本文件
│├──common/# 公共工具模块
││├──__init__.py
││├──asset_store.py# 资产存储管理
││├──batch_runner.py# 批量执行器
││└──cli_utils.py# 命令行工具
│├──add_users_to_space.py# 添加用户到空间
│├──create_apps.py# 批量创建应用
│├──create_shared_kbs.py# 批量创建共享知识库
│├──create_spaces.py# 批量创建空间
│├──create_users.py# 批量创建用户
│├──gen_doc_variants.py# 生成文档变体
│├──locust_create_users_and_join_space.py# 压测:创建用户并加入空间
│├──locust_describe_space_list_perf.py# 压测:查询空间列表
│├──locust_list_app_perf.py# 压测:查询应用列表
│└──locust_list_shared_knowledge_perf.py# 压测:查询共享知识库列表
└──SKILL.md# Skill 说明文档
SKILL.md : 整个 skill 的提示词,用来指导 skill 执行,一般来说要把 skill 详细的工作流定义在里面 scripts 目录:为 skill 准备的脚本,因为我们不能每次都让大模型自由发挥,通过与大模型进行历史对话,我们有过多次比较靠谱的执行方案。所以我们需要让大模型把当时靠谱的方案落地成脚本,这样以后重复执行的时候,就可以稳定且正确的执行,这一步至关重要。 references 目录:执行任务的参考文件,SKILL.md 主要定义工作流,而如果需要他动态生成一些代码,文档,或者执行具体任务,则需要到这个目录下的文件进行参考。可以说这个目录下的文件是执行任务的具体的手册, 我通常叫它 cookbook,它同样至关重要。而在本案例中,我主要保存了编写 locust 脚本的手册。这个后面会给大家展开看。 assets 目录:翻译成中文叫资产,其实就是保存 skill 运行时产生的临时和结果文件。
这个skill的第一个提示词:
我希望编写一个skill。 项目背景:在私有化项目中经常有在客户的要求下进行性能测试的需求。为了完成这个性能测试的需求,需要事先造一些数据进行准备。并且可能每个客户的需求不固定,所以我希望一个可以灵活按客户需求造数据并生成压测脚本的skill。
常用的造数据需求:
1. 工作空间:需要事先创建多个工作空间。支持指定账号
2. 应用:支持指定账号和某个或者某些空间,创造足够数量的应用。
3. 支持给定一个主账号,创建多个子账号。
4. 支持给定一个空间和这一些账号, 把账号拉进这个空间。 为了实现这样的需求, 我希望这个skill先创建一些原子性的脚本:
1. 创建工作空间的脚本,参数是账号信息,和空间的数量。 脚本要把创建的所有空间id记录在一个json文件中。
2. 创建应用的脚本。参数是账号信息,空间id和应用数量。
3. 创建用户的脚本,给定主账号信息和创建的用户数量,并且把用户的信息记录在一个json文件中
4. 创建把用户加入到空间的脚本,给定空间id和用户数组,执行的时候需要使用之前记录下来的空间id和用户id
为了执行批量创建用户和把用户加入到空间中。我们有两个接口,使用curl的调用方式如下:
curl -X POST https://341dev.adp-private.com/cgi/capi\ -H "Authorization: TC3-HMAC-SHA256 Credential=de1b1bde9fe44d3eab4e2fab59/2026-03-20/ihava/tc3_request, SignedHeaders=content-type;host;x-tc-action, Signature=e8201c8698dd634eb3c046a87e92995a2d29f35fae8f9abc684947c44806f188"\ -H "Content-Type: application/json; charset=utf-8"\ -H "Host: 341dev.adp-private.com" -H "X-TC-Action: AddUsersToSpace"\ -H "X-TC-Timestamp: 1773995396"\ -H "X-TC-Version: 2023-11-30"\ -H "X-TC-Region: ap-guangzhou"\ -d '{ "regionId": 1, "serviceType": "ihava", "cmd": "AddUsersToSpace", "data": { "Accounts": [ "bruce-2" ], "SpaceId": "default_space" } } '
curl -X POST https://341dev.adp-private.com/cgi/capi\ -H "Authorization: TC3-HMAC-SHA256 Credential=de1b1bde9fe44d3eab4e2fab59/2026-03-20/ihava/tc3_request, SignedHeaders=content-type;host;x-tc-action, Signature=9c80e4ff96d42673ba6b371d9b3db3686d73dcb27cbd7b65eeb024b93b82b2ef"\ -H "Content-Type: application/json; charset=utf-8"\ -H "Host: 341dev.adp-private.com" -H "X-TC-Action: AddUsers"\ -H "X-TC-Timestamp: 1773990975"\ -H "X-TC-Version: 2023-11-30"\ -H "X-TC-Region: ap-guangzhou"\ -d '{ "from": "", "token": "", "regionId": 1, "serviceType": "lke", "cmd": "AddUsers", "data": { "CName": "批量创建账号", "Pwd": "ezPrHWet3O483X0fJlz1m2MY7ly/gDZy1BAK5ukb6iK9muhNyLCk5jEdc2RrlLhxk9+dm12oNZwWr9XqGfMuXfHuwkvb0rUpYG7Brvvrfkj5Mqz0H4gHWeSvMKjfBD7EMFjCJoOkGrsFV5uFWDl69d1NqSWoCUcOWVuXfrzXf/lgHebAnyRAcsRj1BJfn7DsgZvP77B+rybeciJE/uVbKaJo38I8E2mxK6hMOmM2dJAbud3hams4mZHHFlcwH6mBfQUJZ0/lOp2soBQnrj/4MAxg2YPQ/QRt5lEzFKV4ota1+cXs5tREeHo1dz6/7rJpj78pClBBF/5QiHmLpU/71A==", "Account": "bruce-2" } } ' 我
希望你结合现有的代码,创建这四个脚本。后续使用上, 用户会说明要造什么要的数据,多少个空间,多少个应用等等信息,到时候你需要调用这些脚本来完成用户的需求
第一个提示词主要为压测做一些数据准备。因为我十分确定需要四个脚本来准备压测数据,所以直接让大模型先生成这四个脚本。而它产生的 SKILL.md 如下:
---
name:perf-data-prep
description:Thisskillshouldbeusedwhenusersneedtoprepareprivate-deploymentperformance-testdatabybatchcreatingworkspaces/apps/usersandaddingusersintospaceswithreusableatomicscriptsandJSONassetchaining.
disable-model-invocation:false
---
# 私有化压测数据准备 Skill
## 使用时机
-需要在私有化环境做压测前数据准备
-需要按指定账号批量创建工作空间
-需要按账号+空间批量创建应用
-需要批量创建子账号并落盘用户信息
-需要批量将账号加入指定空间
## 能力边界
-本skill提供4个原子脚本,支持串行或按需组合调用
-脚本结果会写入统一JSON资产文件,便于后续脚本复用
-脚本内部复用仓库现有`Service/API`,不手写签名或明文密钥
## 目录与脚本
-`scripts/create_spaces.py`:批量创建空间并记录`SpaceId`
-`scripts/create_apps.py`:在指定空间批量创建应用
-`scripts/create_users.py`:批量创建用户并记录用户信息
-`scripts/add_users_to_space.py`:批量把用户加入空间
-`scripts/common/asset_store.py`:统一资产JSON读写
-`scripts/common/cli_utils.py`:命令行参数与输入解析
-`scripts/common/batch_runner.py`:批量执行、重试、节流
## 资产文件约定
默认资产文件可放在skill目录下(或通过参数覆盖):
-`spaces.json`
-`users.json`
-`apps.json`
统一结构(示例):
{
"run_id":"20260324_143501",
"spaces":[],
"users":[],
"apps":[],
"failed":[]
}
## 推荐执行链路
1.先建空间:`create_spaces.py`
2.再建用户:`create_users.py`
3.把用户加到空间:`add_users_to_space.py`
4.在空间建应用:`create_apps.py`
## 调用示例
python3.codebuddy/skills/perf-data-prep/scripts/create_spaces.py--accountMaster_Default--count5--output.codebuddy/skills/perf-data-prep/assets/spaces.json
python3.codebuddy/skills/perf-data-prep/scripts/create_users.py--accountMaster_Default--count20--user-prefixperf_u--password-encrypted<加密密码串>--output.codebuddy/skills/perf-data-prep/assets/users.json
python3.codebuddy/skills/perf-data-prep/scripts/add_users_to_space.py--accountMaster_Default--space-id<space_id>--users-file.codebuddy/skills/perf-data-prep/assets/users.json--output.codebuddy/skills/perf-data-prep/assets/membership.json
python3.codebuddy/skills/perf-data-prep/scripts/create_apps.py--accountMaster_Default--space-ids<space_id1,space_id2>--count-per-space30--app-prefixperf_app--output.codebuddy/skills/perf-data-prep/assets/apps.json
## 参数设计原则
-数量参数均为正整数
-所有输入支持“命令行直传”和“从资产JSON读取”两种方式
-支持`--run-id`以实现多批次可追踪
-支持`--retry`、`--interval`控制重试与节流
## 故障处理
-每次API调用均检查`Response.Error`
-失败项写入`failed`数组,不吞错
-总结输出成功数/失败数/关键失败原因
## 安全要求
-不在日志中输出明文密钥、密码
-用户创建脚本仅接收外部传入密文密码串,不做明文加密
-复用`BaseApi.do_req_by_env`做签名与环境路由
## 参考
-详细接口备注见:`references/api-notes.md`
这里需要注意的是:
我当前正在我们的自动化测试项目中编写这个 skill,所以很多知识已经保存在项目中了。比如创建空间,应用的接口已经在项目中编写过,大模型通过检索可以自动检索到。 而我得提示词中给出的两个接口的调用方法,这是因为这两个接口还不存在于项目中,所以需要在提示词中给出。
这时我测试一下结果如何,当我用自然语言对大模型说,我需要创建 5 个工作空间的时候:
可以看到,效果还不错,报错后它还能告诉我错误原因。除了 skill.md 文件外,scripts 目录下也保存了…