从 Prompt 到 Harness:为什么企业级 Agent 一上线,就暴露出另一套测试与架构难题?
很多人已经开始感觉到,AI Agent 的风向变了。
前两年,大家讨论最多的是 Prompt 怎么写、模型怎么选、知识库怎么接。只要能让大模型调用一个工具、生成一段代码、完成一次页面操作,就足以做出演示效果。
现在,企业真正关心的问题变成了:
Agent 能不能连续执行十几个步骤?
中途失败后,能不能从断点继续?
调用了哪些系统,修改了哪些数据,能不能完整追溯?
模型换了、工具升级了、业务规则变化了,原来的 Agent 会不会直接失控?
对于软件测试从业者来说,这种变化尤其明显。
过去测试一个 AI 应用,可能只需要检查回答是否准确、格式是否符合要求。现在面对企业级 Agent,还要测试任务规划、工具调用、状态流转、上下文管理、权限边界、失败恢复和多智能体协作。
这已经不是一个“模型效果问题”。
它正在变成一个完整的软件工程问题。
Prompt 依然重要,但 Prompt 只能告诉模型应该做什么。真正决定 Agent 能不能进入生产环境的,是围绕模型建立起来的那套运行环境。
这套运行环境,正在被越来越多团队称为 Harness。
目录
一、Agent 演示很惊艳,上线后却开始失控 二、企业要的不是“会回答”,而是“可靠执行” 三、Prompt、Context、Harness 到底分别解决什么 四、一个测试用例 Agent,为什么会越跑越不稳定 五、企业落地 Agent,需要补齐哪些工程能力 六、Agent 的下一轮竞争,可能发生在模型之外
一、Agent 演示很惊艳,上线后却开始失控
1. 能完成一次任务,不代表能稳定完成一类任务
一个典型的 Agent Demo 通常并不复杂。
用户输入一句需求,模型识别意图,调用几个工具,最后生成一个结果。
例如:
读取需求文档
→ 提取功能点
→ 生成测试用例
→ 导出 Excel
整个流程只有三四步,输入数据也不大。在这种条件下,即使系统没有复杂的状态管理、上下文压缩和异常恢复,也可能顺利跑通。
但企业场景不会一直这么简单。
真实任务可能是:
读取需求文档
→ 检索历史需求
→ 查询业务规则
→ 提取功能点
→ 识别接口变化
→ 分析影响范围
→ 生成测试点
→ 生成接口用例
→ 生成 UI 用例
→ 检查覆盖率
→ 去除重复用例
→ 调用测试平台
→ 创建测试计划
→ 通知相关负责人
当任务从 4 步增长到 15 步,问题不会线性增加。
它会成倍放大。
模型需要记住更多数据,处理更多工具结果,维护更多中间状态,还要保证前后步骤使用的是同一组业务口径。
任何一个环节发生偏差,都会影响后续链路。
第 3 步拿错了接口版本,第 8 步生成的测试用例可能全部基于过期字段;第 10 步没有识别这个错误,第 12 步仍然可能成功创建测试计划。
从系统角度看,任务执行成功了。
从业务角度看,整个结果却是错的。
2. Agent 越跑越不稳定,往往不是模型变笨了
很多团队会遇到一个很相似的现象:
同一个 Agent,执行三五步时表现很好;执行十几步之后,工具参数开始出错,前面发现的信息开始遗忘,最终结果逐渐偏离任务目标。
最直接的判断通常是:模型能力不够。
于是团队开始换更大的模型、购买更长的上下文窗口,或者在 Prompt 中加入更多规则。
但模型升级以后,问题往往只被推迟,并没有真正消失。
原因在于,Agent 每执行一步,都会向上下文中加入新的内容:
模型推理结果 工具调用参数 工具返回数据 错误信息 重试记录 中间分析结论
一个接口返回几十 KB 的 JSON 并不罕见。
如果系统把这些结果完整塞进上下文,几轮工具调用之后,真正与当前任务有关的信息可能只占很小一部分。
模型看到的内容越来越多,但有效信息的比例越来越低。
它不是没有信息,而是找不到重点。
上下文窗口越大,不代表 Agent 的有效记忆越强。没有信息治理的长上下文,只会形成更大的噪声场。
当模型因为噪声调用错工具,系统又会产生新的报错和重试信息。
上下文继续膨胀,模型下一轮判断进一步下降。
于是形成一个自我恶化的循环:
这类问题不是继续优化某一句 Prompt 就能解决的。
3. 测试人员会最早碰到 Agent 的工程边界
研发看到的是 Agent 能不能完成任务。
测试更容易看到另外一面:
相同输入多次执行,结果是否一致 某个工具超时后,任务是否还能继续 用户关闭页面后,后台任务是否丢失 调用失败时,Agent 会不会无限重试 上一步返回 20 条数据,下一步是否真的处理了全部数据 Agent 是否调用了未授权工具 业务规则变化后,旧知识是否仍在生效 任务成功状态是否等于业务结果正确
传统接口测试关注输入、处理和输出。
Agent 测试还需要关注过程。
因为 Agent 的结果不是由一段确定性代码直接计算出来的,而是由模型推理、工具调用、上下文数据和运行时状态共同决定的。
同一个最终结果,可能经过完全不同的执行路径。
其中一条路径安全、稳定、成本可控;另一条路径可能调用了十几次无效工具,只是碰巧得到了正确答案。
如果只验证最终输出,很多风险根本不会被发现。
企业级 Agent 的质量对象,不只是最终答案,还包括整个决策与执行链路。
二、企业要的不是“会回答”,而是“可靠执行”
1. AI 应用正在从内容生成转向任务执行
普通聊天机器人主要生成内容。
它可以回答问题、总结文档、改写文章。即使回答不够理想,用户通常还可以修改、重试或者直接放弃。
Agent 不一样。
Agent 会对外部系统产生真实影响。
它可能:
创建测试任务 修改数据库记录 提交代码 操作浏览器 调用生产接口 发送通知 调整业务配置 触发自动化流水线
一旦系统开始执行动作,质量标准就发生了变化。
内容生成允许概率性。
生产执行必须受到确定性约束。
模型可以不确定,但系统不能把这种不确定性原封不动地传递给生产环境。
企业真正需要的不是一个“更会思考”的聊天机器人,而是一个能够被控制、被恢复、被审计的任务执行系统。
2. Agent 的核心矛盾,是概率推理与确定执行之间的冲突
大模型适合处理模糊问题。
例如:
用户真正想解决什么问题 一份需求文档有哪些潜在风险 当前异常可能与哪些因素有关 下一步应该调用哪个工具
但大模型并不擅长精确搬运数据。
例如上一步工具返回:
{
"executionId": "9f82c48e-7b31-4d47-a62f-719c0d2d3821",
"caseCount": 128,
"status": "READY"
}
下一步需要用 executionId 查询执行详情。
最脆弱的做法,是让模型从历史消息中找到这个 ID,再复制到新的工具参数里。
长链路中,模型可能:
漏掉部分字符 混淆两个相似 ID 使用上一次执行的 ID 在压缩上下文后重新生成一个不存在的 ID
这类操作不需要推理能力,却消耗了大量模型注意力。
更合理的设计是:
步骤 A 的 executionId
↓
系统变量表
↓
参数绑定
↓
步骤 B 的 executionId 参数
数据由系统精确传递。
模型只负责决定是否需要调用步骤 B。
这背后是一条很重要的工程边界:
让模型负责理解、规划与判断,让系统负责状态、数据与约束。
当职责没有分开时,团队就会不断增加 Prompt,希望模型不要犯错。
当职责分开后,很多错误会从设计上直接消失。
3. 从 Prompt 到 Harness,本质是控制权逐渐回到系统
Agent 的工程演进大致可以分为三个阶段。
Prompt 工程解决的是指令问题。
Context 工程解决的是信息问题。
Harness 工程解决的是运行问题。
它们不是互相替代,而是逐层叠加。
Prompt 写得再好,也不能完成断点恢复。
Context 管理得再精细,也不能自动提供权限控制和执行审计。
Harness 的作用,就是把模型放进一套完整的工程环境中,让模型的能力能够稳定转化为业务结果。
三、Prompt、Context、Harness 到底分别解决什么
1. Prompt 工程解决“模型应该怎么做”
Prompt 是 Agent 最早的一层控制面。
一个结构化 Prompt 通常会包含:
角色与目标 任务边界 工具说明 输出格式 行为规则 示例数据 异常处理要求
在简单场景中,Prompt 非常有效。
例如要求模型:
你是一名资深测试工程师。
请根据需求文档提取功能点,并按照以下字段生成测试用例:
用例标题、前置条件、执行步骤、预期结果、优先级。
禁止生成需求中不存在的功能。
这已经能明显提升生成质量。
随着业务规则增加,System Prompt 可能从几百字增长到几千字,甚至发展成项目级说明文件。
里面可能包含代码路径、接口规范、发布规则、工具约束和业务术语。
这种做法的问题在于:无论当前任务是否需要,所有内容都会被注入上下文。
规则越多,Prompt 越长。
Prompt 越长,模型越难判断当前最重要的约束是什么。
工程师往往会继续加入:
IMPORTANT
MUST
DO NOT
CRITICAL
这些强调在短任务中有效,在长链路中却会逐渐被新的信息淹没。
真正的企业规则不能只停留在“提醒模型遵守”。
权限限制、字段校验、数据格式、审批条件和工具白名单,都应该由系统强制执行。
Prompt 可以表达规则。
系统必须落实规则。
2. Context 工程解决“模型当前应该看到什么”
很多人理解 Context Engineering,只是把更多业务资料塞给模型。
实际上,Context 工程的核心不是增加信息,而是控制信息。
一个成熟的上下文系统需要回答四个问题:
哪些信息必须进入当前上下文? 哪些信息只需要保留摘要? 哪些原始数据应该放在外部存储中? 后续需要细节时,如何准确取回?
可以把 Agent 的上下文管理设计成四层。
第一层:大结果外置
当工具返回大量 JSON、日志或文档时,不直接全部放进 Prompt。
系统把原始结果存入数据库或对象存储,只在上下文中保留:
{
"refId": "artifact_1024",
"type": "api_result",
"count"