从 Prompt 到 Harness:为什么企业级 Agent 一上线,就暴露出另一套测试与架构难题?


很多人已经开始感觉到,AI Agent 的风向变了。

前两年,大家讨论最多的是 Prompt 怎么写、模型怎么选、知识库怎么接。只要能让大模型调用一个工具、生成一段代码、完成一次页面操作,就足以做出演示效果。

现在,企业真正关心的问题变成了:

Agent 能不能连续执行十几个步骤?

中途失败后,能不能从断点继续?

调用了哪些系统,修改了哪些数据,能不能完整追溯?

模型换了、工具升级了、业务规则变化了,原来的 Agent 会不会直接失控?

对于软件测试从业者来说,这种变化尤其明显。

过去测试一个 AI 应用,可能只需要检查回答是否准确、格式是否符合要求。现在面对企业级 Agent,还要测试任务规划、工具调用、状态流转、上下文管理、权限边界、失败恢复和多智能体协作。

这已经不是一个“模型效果问题”。

它正在变成一个完整的软件工程问题。

Prompt 依然重要,但 Prompt 只能告诉模型应该做什么。真正决定 Agent 能不能进入生产环境的,是围绕模型建立起来的那套运行环境。

这套运行环境,正在被越来越多团队称为 Harness。


目录

  • 一、Agent 演示很惊艳,上线后却开始失控
  • 二、企业要的不是“会回答”,而是“可靠执行”
  • 三、Prompt、Context、Harness 到底分别解决什么
  • 四、一个测试用例 Agent,为什么会越跑越不稳定
  • 五、企业落地 Agent,需要补齐哪些工程能力
  • 六、Agent 的下一轮竞争,可能发生在模型之外

一、Agent 演示很惊艳,上线后却开始失控

1. 能完成一次任务,不代表能稳定完成一类任务

一个典型的 Agent Demo 通常并不复杂。

用户输入一句需求,模型识别意图,调用几个工具,最后生成一个结果。

例如:

读取需求文档
→ 提取功能点
→ 生成测试用例
→ 导出 Excel

整个流程只有三四步,输入数据也不大。在这种条件下,即使系统没有复杂的状态管理、上下文压缩和异常恢复,也可能顺利跑通。

但企业场景不会一直这么简单。

真实任务可能是:

读取需求文档
→ 检索历史需求
→ 查询业务规则
→ 提取功能点
→ 识别接口变化
→ 分析影响范围
→ 生成测试点
→ 生成接口用例
→ 生成 UI 用例
→ 检查覆盖率
→ 去除重复用例
→ 调用测试平台
→ 创建测试计划
→ 通知相关负责人

当任务从 4 步增长到 15 步,问题不会线性增加。

它会成倍放大。

模型需要记住更多数据,处理更多工具结果,维护更多中间状态,还要保证前后步骤使用的是同一组业务口径。

任何一个环节发生偏差,都会影响后续链路。

第 3 步拿错了接口版本,第 8 步生成的测试用例可能全部基于过期字段;第 10 步没有识别这个错误,第 12 步仍然可能成功创建测试计划。

从系统角度看,任务执行成功了。

从业务角度看,整个结果却是错的。


2. Agent 越跑越不稳定,往往不是模型变笨了

很多团队会遇到一个很相似的现象:

同一个 Agent,执行三五步时表现很好;执行十几步之后,工具参数开始出错,前面发现的信息开始遗忘,最终结果逐渐偏离任务目标。

最直接的判断通常是:模型能力不够。

于是团队开始换更大的模型、购买更长的上下文窗口,或者在 Prompt 中加入更多规则。

但模型升级以后,问题往往只被推迟,并没有真正消失。

原因在于,Agent 每执行一步,都会向上下文中加入新的内容:

  • 模型推理结果
  • 工具调用参数
  • 工具返回数据
  • 错误信息
  • 重试记录
  • 中间分析结论

一个接口返回几十 KB 的 JSON 并不罕见。

如果系统把这些结果完整塞进上下文,几轮工具调用之后,真正与当前任务有关的信息可能只占很小一部分。

模型看到的内容越来越多,但有效信息的比例越来越低。

它不是没有信息,而是找不到重点。

上下文窗口越大,不代表 Agent 的有效记忆越强。没有信息治理的长上下文,只会形成更大的噪声场。

当模型因为噪声调用错工具,系统又会产生新的报错和重试信息。

上下文继续膨胀,模型下一轮判断进一步下降。

于是形成一个自我恶化的循环:

这类问题不是继续优化某一句 Prompt 就能解决的。


3. 测试人员会最早碰到 Agent 的工程边界

研发看到的是 Agent 能不能完成任务。

测试更容易看到另外一面:

  • 相同输入多次执行,结果是否一致
  • 某个工具超时后,任务是否还能继续
  • 用户关闭页面后,后台任务是否丢失
  • 调用失败时,Agent 会不会无限重试
  • 上一步返回 20 条数据,下一步是否真的处理了全部数据
  • Agent 是否调用了未授权工具
  • 业务规则变化后,旧知识是否仍在生效
  • 任务成功状态是否等于业务结果正确

传统接口测试关注输入、处理和输出。

Agent 测试还需要关注过程。

因为 Agent 的结果不是由一段确定性代码直接计算出来的,而是由模型推理、工具调用、上下文数据和运行时状态共同决定的。

同一个最终结果,可能经过完全不同的执行路径。

其中一条路径安全、稳定、成本可控;另一条路径可能调用了十几次无效工具,只是碰巧得到了正确答案。

如果只验证最终输出,很多风险根本不会被发现。

企业级 Agent 的质量对象,不只是最终答案,还包括整个决策与执行链路。


二、企业要的不是“会回答”,而是“可靠执行”

1. AI 应用正在从内容生成转向任务执行

普通聊天机器人主要生成内容。

它可以回答问题、总结文档、改写文章。即使回答不够理想,用户通常还可以修改、重试或者直接放弃。

Agent 不一样。

Agent 会对外部系统产生真实影响。

它可能:

  • 创建测试任务
  • 修改数据库记录
  • 提交代码
  • 操作浏览器
  • 调用生产接口
  • 发送通知
  • 调整业务配置
  • 触发自动化流水线

一旦系统开始执行动作,质量标准就发生了变化。

内容生成允许概率性。

生产执行必须受到确定性约束。

模型可以不确定,但系统不能把这种不确定性原封不动地传递给生产环境。

企业真正需要的不是一个“更会思考”的聊天机器人,而是一个能够被控制、被恢复、被审计的任务执行系统。


2. Agent 的核心矛盾,是概率推理与确定执行之间的冲突

大模型适合处理模糊问题。

例如:

  • 用户真正想解决什么问题
  • 一份需求文档有哪些潜在风险
  • 当前异常可能与哪些因素有关
  • 下一步应该调用哪个工具

但大模型并不擅长精确搬运数据。

例如上一步工具返回:

{
  "executionId": "9f82c48e-7b31-4d47-a62f-719c0d2d3821",
  "caseCount": 128,
  "status": "READY"
}

下一步需要用 executionId 查询执行详情。

最脆弱的做法,是让模型从历史消息中找到这个 ID,再复制到新的工具参数里。

长链路中,模型可能:

  • 漏掉部分字符
  • 混淆两个相似 ID
  • 使用上一次执行的 ID
  • 在压缩上下文后重新生成一个不存在的 ID

这类操作不需要推理能力,却消耗了大量模型注意力。

更合理的设计是:

步骤 A 的 executionId
        ↓
系统变量表
        ↓
参数绑定
        ↓
步骤 B 的 executionId 参数

数据由系统精确传递。

模型只负责决定是否需要调用步骤 B。

这背后是一条很重要的工程边界:

让模型负责理解、规划与判断,让系统负责状态、数据与约束。

当职责没有分开时,团队就会不断增加 Prompt,希望模型不要犯错。

当职责分开后,很多错误会从设计上直接消失。


3. 从 Prompt 到 Harness,本质是控制权逐渐回到系统

Agent 的工程演进大致可以分为三个阶段。

Prompt 工程解决的是指令问题。

Context 工程解决的是信息问题。

Harness 工程解决的是运行问题。

它们不是互相替代,而是逐层叠加。

Prompt 写得再好,也不能完成断点恢复。

Context 管理得再精细,也不能自动提供权限控制和执行审计。

Harness 的作用,就是把模型放进一套完整的工程环境中,让模型的能力能够稳定转化为业务结果。


三、Prompt、Context、Harness 到底分别解决什么

1. Prompt 工程解决“模型应该怎么做”

Prompt 是 Agent 最早的一层控制面。

一个结构化 Prompt 通常会包含:

  • 角色与目标
  • 任务边界
  • 工具说明
  • 输出格式
  • 行为规则
  • 示例数据
  • 异常处理要求

在简单场景中,Prompt 非常有效。

例如要求模型:

你是一名资深测试工程师。

请根据需求文档提取功能点,并按照以下字段生成测试用例:

用例标题、前置条件、执行步骤、预期结果、优先级。

禁止生成需求中不存在的功能。

这已经能明显提升生成质量。

随着业务规则增加,System Prompt 可能从几百字增长到几千字,甚至发展成项目级说明文件。

里面可能包含代码路径、接口规范、发布规则、工具约束和业务术语。

这种做法的问题在于:无论当前任务是否需要,所有内容都会被注入上下文。

规则越多,Prompt 越长。

Prompt 越长,模型越难判断当前最重要的约束是什么。

工程师往往会继续加入:

IMPORTANT
MUST
DO NOT
CRITICAL

这些强调在短任务中有效,在长链路中却会逐渐被新的信息淹没。

真正的企业规则不能只停留在“提醒模型遵守”。

权限限制、字段校验、数据格式、审批条件和工具白名单,都应该由系统强制执行。

Prompt 可以表达规则。

系统必须落实规则。


2. Context 工程解决“模型当前应该看到什么”

很多人理解 Context Engineering,只是把更多业务资料塞给模型。

实际上,Context 工程的核心不是增加信息,而是控制信息。

一个成熟的上下文系统需要回答四个问题:

  1. 哪些信息必须进入当前上下文?
  2. 哪些信息只需要保留摘要?
  3. 哪些原始数据应该放在外部存储中?
  4. 后续需要细节时,如何准确取回?

可以把 Agent 的上下文管理设计成四层。

第一层:大结果外置

当工具返回大量 JSON、日志或文档时,不直接全部放进 Prompt。

系统把原始结果存入数据库或对象存储,只在上下文中保留:

{
  "refId": "artifact_1024",
  "type": "api_result",
  "count"
— 以上为试看内容(约 40%),开通会员后阅读全文 —