Harness 与 Agent 工程 · Agent架构与协作 · 2025-10-31

如何让Agent更符合预期?基于上下文工程和多智能体构建云小二Aivis的十大实战经验

阿里云团队揭秘数字员工Aivis的实战经验,分享如何通过上下文工程和多智能体协同让Agent更精准高效。

核心内容:

  1. 从模糊预期到清晰目标的转化方法论
  2. 提示词工程与上下文工程的关键优化技巧
  3. Multi-Agent架构下的协同设计与避坑指南

背景

今年我们团队重点投入在“云小二 Aivis”项目中。云小二 Aivis 是阿里云服务领域的数字员工,它标志着我们从传统的智能辅助客服,迈向了更端到端 Multi-Agent 的数字员工能力的全新阶段。

云小二 Aivis 核心是基于 LLM 的思考推理能力,在 Multi-Agent 架构下,结合各类MCP Tool、Browser Use、Computer Use等工具调用能力,可以让数字员工更像人一样去思考和解决问题。这其实是一个非常有挑战的课题,这背后涉及到算法、工程、数据等多个维度,对于云小二 Aivis 的介绍,大家可以看下我们团队 TL洪林在云栖大会上的介绍分享《云小二Aivis,迈向自主Agent的阿里云智能服务新形态》[1],后续也会陆续会有一系列文章发出来,大家也可以期待一波~

“如何构建和调优一个效果好的 Agent”始终是一个庞大且复杂的课题,近一年的时间,我也在集团内外多个场合进行了一些 Agent 技术分享和布道,大家问的最多的问题基本上是:

我们在云小二 Aivis 项目实践中也构建了大量的 Multi-Agent 协同和上下文工程上的优化,也走过不少弯路,从这一些真实踩坑实践经验中,我们总结出了几个我们认为行之有效的关键点,希望能为正在构建 Agent、Multi-Agent 的朋友们带来一些参考价值。

为什么Agent不按预期输出

为什么我的 Agent 不按照预期输出?这个问题,我们需要拆解成两个子问题:

围绕这两个问题,可以从两个方面的角度来分析 Agent 不按照预期输出的原因,一个是“预期层面”的角度,另一个是“技术层面”的角度。

我们先从预期层面的角度来看,很多时候大家在构建 Agent 的时候,总是会发出“我希望它更智能一点”或者“它应该正确回答问题”,这都是常见的模糊预期。这样的预期基本上是无法指导我们对 Agent 进行有效的优化。我们需要将模糊的预期转化为具体、可衡量的清晰预期。

只有将预期足够的清晰,你才会拥有了一套尽量清晰的“衡量标准”。当 Agent 的输出不符合预期时,你可以精确地指出哪里错了,或者是提示词指令还是写的不够清晰、明白,让模型产生的困惑,而不是笼统地说“不符合预期”。

从技术层面的角度来看,提升 Agent 效果的核心方法无非两种:一是优化提示词工程(Prompt Engineering)或上下文工程(Context Engineering),二是优化模型(如 SFT、DPO、RLHF等)。其实随着近期通义千问基座大模型版本的持续更新,Agent的执行效果也越来越好,模型训练的成本也变得非常高且必要性没那么大了,而且尤其不适合普通玩家了。因此,本文的重点将放在第一个角度:如何通过上下文工程或者Multi-Agent架构层面来优化Agent效果。

现在,“提示词工程”早已经不是一个新概念了,但是很多人其实还是没怎么理解这里面的精髓,需要注意的是,直接写个“提示词”并不是真正意义上的“提示词工程”。“提示词工程”的重点在于“工程”两个字,也就是说在实际生产和应用的过程中,并不是像我们做测试或实验Demo一样,针对一个任务要求写一段提示词,模型去完成一个单次调用的任务即可。而大部分情况下,提示词都是在实际线上系统运行过程中动态获取和拼接的,以适应更加复杂的场景。

所以,现在大家也意识到了这个问题,叫“提示词工程”很容易将重点聚焦在“提示词”本身的书写上,行业内越来越多人开始称呼“上下文工程”(Context Engineering),其实这两者本质的差别并不是很大,因为大模型本身就是一种上下文学习(In Context Learning),提示词本身就是上下文中的一部分,但是现在为什么重点提到“上下文工程”,也是因为行业中越来越多人会关注到,仅仅提示词的优化更多还是停留在提示词的质量、指令清晰度、书写规范上面,很少关注到上下文的动态组合,包括对系统指令的组装、对话History的组装、长期Memory的存储和读取等等更工程的层面。前段时间,Manus也发表了一篇Blog《AI代理的上下文工程:构建Manus的经验教训》[2]专门探讨他们在上下文工程实践的经验教训,更是将这个概念进一步推广了出来。

实践总结的十大Agent优化经验

在云小二Aivis业务真实实践的过程中,前期我们也踩过许多坑,根据问题发生的原因和解决经验,我总结了几个相对比较核心的建议,希望能给大家带来一些参考价值。

经验一:清晰化你的预期

核心原则:避免模糊预期,给到足够清晰的预期,让大模型理解起来没有任何的歧义和困惑。

我们先从预期层面的角度来看,很多时候大家在构建Agent的时候,经常会说“希望它更智能一点”或者“它应该正确回答问题”,这都是常见的模糊预期。这样的预期,会让大模型产生困惑(Confuse),并且基本上也是无法指导我们对Agent进行有效的优化,因此,我们必须要将模糊的预期转化为具体、可衡量的清晰预期。

如何定义一个好的清晰预期?我们可以来问自己这么几个问题:

1. 任务要求(Task):任务要求是否写得明确详细,判断条件的逻辑是否写明确了?你期望的判断规则是怎样?

2. 输出格式(Format):我期望的输出是JSON、Markdown、一段自然语言,还是一个特定的函数调用?JSON的Schema是什么样的?

3. 风格语气(Style):输出的语言风格应该是专业的、友好的、简洁的还是详细的?

踩坑案例:问答场景下的专业术语歧义

在我们业务中,有一个典型的“ECS实例锁定”场景。这个问题其实是有两种情况:

1. 业务锁定:由于欠费等业务原因,ECS实例本身在业务层面被锁定。2. 系统锁定:由于多次输错登录密码,导致的Windows操作系统层面账户被锁定。虽然我们在系统指令里对这两种情况做了区分,但当客户模糊地问“我的服务器锁定了怎么办?”时,模型大概率会搞混,并且非常倾向于回复业务锁定的解决方案,而实际上客户经常高频遇到的往往是系统锁定。但是,实际分析的时候,你会发现大模型理解成业务锁定也是非常正常的, 因为客户没有明确说是系统锁定,只是说ECS锁定了,因为我们的提示词里要求模型按照阿里云的视角来进行回复,模型大概率就会理解成“实例本身锁定”。

解决方案:我们需要将这两种锁定的区别,清晰的描述清楚,让大模型完全清楚的理解什么叫做“业务上的锁定”、什么叫做“系统账户锁定”,只有明确描述清楚两种锁定的区别,才能让模型清晰地get到这两者的差异,甚至可以提供一些候选工具,让模型可以通过查询实例状态来执行结果进行判断:

1. 条件判断:如果能获取到客户的实例ID,调用 API 查询其业务状态,如果实例确实处于业务锁定状态,才提供业务锁定的解决方案;如果业务状态正常,就判断为可能是操作系统锁定,并提供相应的排查方法。2. 明确区分:如果拿不到实例ID码,或者没有可用工具无法诊断的情况下,也可以进一步去向客户澄清:“请问您是控制台上看到实例被锁定,还是远程登录到系统里面提示账户被锁定”,根据用户的进一步回应来判断,尽可能更清晰的给到客户精准的解决方案。通过这个精确化预期的过程,你就拥有了一套尽量清晰的“执行标准”。当Agent的输出不符合预期时,你可以精确地指出哪里错了,或者是提示词指令还是写的不够清晰、明白,让模型产生的困惑,而不是笼统地说“不符合预期”。

经验二:上下文精准投喂

核心原则:“给其所需,去其所扰”。模型需要且关心的信息,一定要给到;模型不需要且不相关的干扰信息,一定要想办法剔除。

这个原则听起来似乎理所当然,甚至有点废话文学,但在实践中,我们发现很多时候Agent效果不佳的核心原因,往往就是我们该给的信息没给全,或不该给的信息给得太多,从而引起了模型的困惑。

当模型困惑时,它就很有可能不会去执行任务,因为没理解你的预期意图,或者你的预期意图里面存在矛盾或者歧义点,所以很容易反过来向你澄清问题(“请问您提到的xxx是什么意思?”),或者按照它自己的理解去执行,就极容易导致结果与预期出现偏差。

踩坑案例:欠费诊断的信息干扰

在我们的业务中,有一个场景是“判断账户是否存在欠费”。逻辑上其实比较简单,就是去调用工具查询这个用户ID下的资金是否存在负数的情况即可。但是,当我们真的让大模型去调用财务的相关工具API的返回结果,我们会发现有非常多的字段,包括:可用金、冻结金额、信用金额、余额、退款金额、未结算的金额等等,别说大模型,这个情况人看了也得蒙,如果不是对业务深入了解,其实是很难知道应该如何判断是否欠费的。

因此,大模型的表现就出现了不稳定的情况,有时候根据余额为负数判定是否欠费,有时候又根据可用金为负数就判定是欠费,有时候又考虑了冻结金额、退款情况等等,导致多次调用大模型输出的判断结论反而是不统一的,这就是严重不符合预期的情况。

经过和业务的深入沟通之后,因为阿里云的产品有预付费、后付费等情况,所以有些金额是会预先扣除,有些不预先扣除但会提前冻结等等,所以最终其实只需要判断可用金是否负数即可。

解决方案:我们不能粗暴的把财务工具接口返回的信息“一把梭”地给到大模型就万事大吉,因为这里面有太多业务领域特性的逻辑或者信息,这将会导致模型按照自己想法随意发挥去做判断,从而带来了不确定性,正确的做法是将该给到大模型的信息经过筛选和过滤之后,模型在判断欠费的时候需要关心的字段,我们一定要给到;模型不需要且不相关的干扰信息,一定要想办法剔除。

经验三:身份和历史执行清晰化

核心原则:模型需要明确知道有几方的身份,需要知道自己做过哪些事情,当前执行到哪个阶段。

大模型在对话中默认只有两个角色:user(用户)和 assistant(大模型助手)。但在我们的智能客服场景中,角色要复杂得多:客户、客服(小二),以及大模型。其中,“小二”翻译成英文也是 Assistant,这就极易与模型的 Assistant 角色混淆。因此,必须要将身份信息非常明确的定义出来,让大模型很清楚“谁在说什么,谁在做什么”。

踩坑案例:三方角色不清晰导致模型“错乱”

我们最早的版本中,曾将客服小二与客户的对话直接作为 History 喂给大模型,当时的想法也比较朴实,就是希望模型能根据已有的对话信息,来去“续写”客服小二的下一步动作。这个逻辑在初期设计的时候感觉非常合理,所…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/zhinengkefu/2025103157820.html