一篇文章讲清楚 AI Agent:从 Token、RAG、Skill 到 MCP、SDD 和 Harness 工程
很多测试开发同学现在都在学 AI Agent。
一开始看 Demo,感觉确实很厉害:
能查资料,能写代码,能生成测试用例,能调用工具,甚至还能自动分析日志。
但真放到企业项目里,问题很快就来了。
需求文档很长,Agent 到底该看哪一段? 接口文档经常变,它怎么保证不乱猜? 生成的用例看起来很完整,实际能不能跑? 自动调用工具时,权限边界怎么控制? 它写错代码、误改逻辑、生成错误报告,谁来兜底? Token 消耗越来越高,怎么避免越用越贵?
这也是很多 Agent 项目卡住的原因。
不是 Demo 做不出来,而是 Demo 很难稳定进入真实工程流程。
对测试开发来说,理解 Agent 不能只看“它会不会回答问题”,更要看它能不能完成一条可靠的任务闭环。
比如:
从需求里识别测试点, 从接口文档里生成用例, 调用自动化框架执行, 根据执行结果分析失败原因, 最后输出可追踪、可验证的报告。
这才是测试开发真正关心的 Agent。
所以这篇文章不会一上来堆概念,而是从测试开发的工作场景出发,把 Agent 背后的工程逻辑拆开讲清楚。
阅读目录
一、先看清楚:Agent 和普通大模型有什么区别 二、Token:为什么 Agent 用着用着就变贵、变慢、变不稳 三、RAG:为什么企业 Agent 不能只靠模型自己回答 四、Memory:Agent 如何记住当前任务和历史经验 五、Skill:把测试经验封装成可复用能力 六、ReAct:让 Agent 边想、边做、边验证 七、MCP:让 Agent 更标准地连接外部工具 八、SDD:先写清规格,再让 AI 干活 九、Harness 工程:给 Agent 搭一个可控的工作环境 十、把这些概念串起来:Agent 的完整工程链路 十一、测试开发同学应该怎么切入 Agent 十二、最后:Agent 工程能力的延伸
一、先看清楚:Agent 和普通大模型有什么区别
普通大模型更像“问一句,答一句”。
你问它一个问题,它生成一段回答。
但 Agent 不只是回答问题,它更像一个可以围绕目标持续推进的任务执行单元。
它会理解目标,拆解任务,获取上下文,调用工具,观察结果,再继续修正下一步。
先用一张图看懂 Agent 的基本工作方式。
这个闭环非常关键。
因为测试开发工作本身也是闭环型工作:
需求分析、测试设计、自动化执行、结果校验、缺陷定位、报告输出。
所以测试开发场景天然适合 Agent 化。
举个例子。
如果你让普通大模型生成接口测试用例,它可能直接给你一批文本。
但如果是一个真正的测试 Agent,它应该可以这样工作:
这就从“生成内容”变成了“执行任务”。
Agent 对测试开发的价值,不是替你写几行代码,而是把多个测试动作串成一条可执行的工程链路。
二、Token:为什么 Agent 用着用着就变贵、变慢、变不稳
很多人刚开始用大模型时,对 Token 没什么感觉。
但只要开始做 Agent,就一定会遇到 Token 问题。
Token 可以理解为大模型处理文本时的最小计算单位。
大模型不是直接理解中文、英文和代码,而是先把文本切成 Token,再映射成数字,然后进行计算。
Token 对 Agent 的影响主要有三个。
1. 影响成本
输入越长,输出越多,Token 消耗越高。
Agent 如果每次都把需求文档、接口文档、历史日志、代码片段全部塞给模型,成本很快就会上去。
2. 影响上下文
模型一次能处理的上下文是有限的。
如果资料太多,模型只能看到其中一部分。
这就会导致一个问题: 它看起来在回答完整问题,实际上只基于部分信息在判断。
3. 影响稳定性
Agent 是多轮执行的。
它会不断积累用户目标、任务步骤、工具返回结果、历史对话和中间分析。
如果不做上下文管理,Agent 很容易越跑越长、越跑越贵、越跑越偏。
所以,做 Agent 不能简单粗暴地把所有资料都塞进去。
更合理的方式应该是这样:
对测试开发来说,Token 管理不是一个底层细节,而是 Agent 能不能稳定落地的基础。
如果上下文控制不好,后面的 RAG、工具调用、报告生成都会受到影响。
三、RAG:为什么企业 Agent 不能只靠模型自己回答
测试开发场景有一个特点:
很多关键知识都不在大模型里面,而在企业自己的系统里。
比如:
需求文档 接口文档 测试用例库 缺陷记录 日志规范 数据字典 测试平台说明 历史事故复盘 团队自动化框架约定
如果 Agent 不接这些资料,只靠模型自己回答,就很容易出现“看起来合理,实际上不准确”的问题。
这时候就需要 RAG。
RAG 的作用很简单:
在大模型回答之前,先去查资料,再结合资料生成回答。
这就像让模型从闭卷考试变成开卷考试。
对测试开发来说,RAG 可以用在很多场景。
但 RAG 不是把文档扔进向量库就完事。
真正落地时,必须考虑:
这里面任何一个环节没做好,RAG 都可能变成“看似接了知识库,实际回答还是靠猜”。
所以企业 Agent 想要靠谱,RAG 是绕不过去的一步。
四、Memory:Agent 如何记住当前任务和历史经验
Agent 要完成复杂任务,就不能每一步都像第一次执行一样。
它需要记住当前任务的状态,也需要在合适的时候复用历史经验。
所以 Agent 的记忆通常可以分成两类:
短期记忆和长期记忆。
短期记忆主要服务当前任务。
比如用户刚才说了什么,当前执行到哪一步,工具返回了什么结果,下一步应该怎么做。
长期记忆主要服务跨任务复用。
比如某个项目的接口命名习惯,某个团队的自动化框架规范,某类报错的排查路径,某种测试报告的输出格式。
对测试开发来说,长期记忆很适合沉淀这些内容:
项目常见缺陷模式 接口自动化框架约定 页面元素定位规则 测试报告输出…