AI落地Best Practice · 企业与业务成品 · 2025-11-26

让AI评测AI:构建智能客服的自动化运营Agent体系

AI正在重塑客服行业,从规则驱动迈向智能对话时代,探索如何构建自动化运营Agent体系提升服务体验。

核心内容:

  1. 传统NLP机器人客服的局限与运营痛点
  2. RAG架构如何通过检索增强技术突破智能客服瓶颈
  3. 自动化运营Agent体系的关键技术实现路径

大模型和算力的快速发展,促进了很多行业的变革,即使目前AI仍然处于“自主行动”的初级阶段,即“辅助人”的阶段,其巨大的潜力和演进路径却是相对明确的。

客服领域,作为最早使用“智能能力”的领域,也随着LLM的发展有了新的生命力。

我们先来看下智能客服的发展。

一、基于NLP的传统机器人客服

曾经以“NLP”、“规则引擎”、“知识库”为基础构建的上一代“机器人客服”,给更加传统的“人工客服”带来了一次“跃进”。但是其意图理解差(多意图理解更难、甚至需要定向训练)、维护成本高(冷启动成本大、知识维护成本大)、对话能力弱(几乎为0的泛化能力、回答生硬、指代消解能力差),也给“机器人客服”带来了不少诟病。这一阶段的客服运营(本文指机器人客服方面的运营,非排班、培训、质检、考核等人工客服方面的运营)重点工作内容为:

语言是无限的,但规则是有限的。客服运营团队永远在追赶用户层出不穷的新问法,陷入“猫鼠游戏”,疲于奔命。更加心碎的是无论怎么优化,机器人的智能水平上限在设计之初就被规则库的规模锁死了,无法处理规则外的问题。

二、基于RAG的智能客服

大模型的快速发展,重新定义了“机器人客服”,使其向“智能客服”前进了一大步。我们对于LLM在客服上的应用,最开始是从RAG(RAG现在都被说烂了,但还是得说下)作为切入点进入的,目的是为了提升文档问答的准确率、降低知识的运营成本。

RAG为什么有效,因为它既不是单纯的

更不是

而是从“知识库”中找出最相关的内容,将“检索到的信息”和“用户问题”打包成一个超级提示词,LLM 扮演“专家助理”,而非“专家本人”。它既有更加准确的知识作为供给,也能经过LLM的润色表达的更加自然。

引入RAG之后,我们的机器人客服主链路如下:

RAG的能力,让机器人客服的知识来源从之前较为单一的FAQ维度,跃迁到了整篇的文档维度(doc、pdf、ppt、表格等),对于机器人知识问答场景的影响非常大。

虽然彼时的LLM还没有像现在这么强悍,它能支持的上下文token量级也很有限,所以不少工作(意图理解、多轮的支持、RAG结果的精排等)还是由工程侧和小模型的协作才能完成,但这足以让客服运营的工作内容发生了很大的变化,也使得冷启动、知识维护的成本得到一定程度的降低,毕竟上传知识文档比配置一系列的FAQ要容易很多。客服运营可以将精力放到业务sop流程的构建、知识文档的保鲜上。

三、基于AI原生的智能客服

LLM经历了2022年底的闪耀登场、到2023年的百模大战、再到2024年的AI应用涌现,迎来了2025年的智能体蓬勃发展。随着基模的能力越来越好,可以把更加复杂的逻辑交给LLM理解,甚至可以借助MCP让LLM直接调用外部工具、借助Function-Call的能力实现本地服务数据的动态利用,这让“传统研发”的工程同学可以直接通过对基模的调用(比如基于百炼)手搓完整的机器人客服链路,让基于AI原生的智能客服可以落地。

基于AI原生的智能客服主链路:

链路中使用模型的地方都切换为了LLM,根据使用的场景的不同采用了不同尺寸的LLM,比如改写会使用参数小一点的模型(7b),而规划和决策就会使用参数量大一些的模型(max、32b)。同时因为是对话场景,对于耗时比较敏感,需要权衡LLM的选型和响应时间,一般模型参数越大,效果越好,但是响应时间也会变长。

因为基模的强大,我们可以把更多的内容让LLM去推理判断(相比之前,进化很多),比如可以把复杂的业务逻辑,通过自然语言描述成“如果xxx,那么xxx”这种格式,结合上下文信息,让LLM决策该走什么样的逻辑分支,我们把它称之为“智能SOP”。智能SOP(依然存在很大的优化空间)中需要动态调用LLM以外的内容,可以通过Function-Call的方式实现。

对于知识类的问答,RAG仍然必不可少,而且也在不断进化:

四、对话效果如何评测

基于AI原生搭建的对话链路,做个Demo没问题,但是如果要商业化交付,就得关注实际的效果,本文要讨论的重点内容来了,该如何观测其效果?

虽然整个链路很多环节都用到了LLM,但我们关注的是端到端的机器人回答效果,单纯对LLM本身的评测不是我们的目标。

传统做法是运营人员通过指定评测集,或者从生产环境抽取服务记录,线下进行人工标注看效果。如果发现问题,需要单独记录,找技术进行定位,是问答链路中哪个环节可能出了问题导致了BadCase,修复方案可能是需要运营介入、也可能是技术介入就够了,修复之后再重新评测看结果,整个过程费时、费力。

机器人对话都可以基于AI原生实现了,那么对话链路的效果评估,是不是也可以利用AI原生的能力实现,节省人工参与的成本?

答案是肯定的,我们经过不断地摸索和实践,建设了"评估-诊断-优化"三位一体的运营Agent平台(一个垂类Agent),结合知识Agent和对话中控Agent,一起构建了智能化的AI原生服务闭环体系,实现客服机器人服务质量的持续进化。

在KA客户的实际应用中,服务记录BadCase发现的准确率85%+,根因归类和优化建议生成的准确率80%+,机器人客服的运营同学可以根据运营Agent的产出结果来定向操作,节省了很大的成本。同时,该能力也应用到了ToB的产品中,目前评测能力的综合准确性达到85%+。

五、评测怎么落地

其中:

六、遇到了哪些难题

建设运营Agent进行对话效果评测的过程是痛苦的,规则如何准确生效、上下文怎么设计、怎么降低LLM的抽风等,下面介绍下我们在实践中通过踩坑积累的一点经验,抛砖引玉吧。

6.1 正向评判还是负向评判

要评判机器人吐出答案是不是符合预期,首先就得定义出来“规则”是什么。我们最开始的想法是搞几个通用的规则,每个规则都有分数,让LLM根据输入的Query和机器人吐出的答案Answer,判断Answer是否命中规则。每个规则项根据权重设定了不同的分数,比如“语义相关性”维度分值最大(50分),而“表达质量”维度分值设置的比较低(20分),所有评判维度总分加起来是100分。

这里的分值判断,不是让LLM只做“正向判断”,或者只做“负向判断”,而是一种混合的做法。因为“纯负向”的判断会让LLM过度关注缺陷,忽略整体的价值;而“纯正向”的评判又比较宽松,可能遗漏问题。

我们采用“混合策略”的方式,分层评估,既有明确的红线扣分点,也会给LLM的发挥空间,在一定分值波动阈值内进行综合判断,LLM的思考过程就会变为“找优点 → 找缺点 → 综合权衡”,更接近人类的全面评估。

6.2 业务场景的强依赖

有了上面的评判规则后,我们在实操过程中,发现对于有些服务记录的评判,总是达不到期望的效果,例如当用户咨询“课程取消规则”,机器人在回答时需要进一步澄清明确是哪种类型的课程,才能给出对应的内容,因为不同类型的课程,在使用规则上会有差异(如「A」类型的课程可以上课前2小时取消,而「B」类型的课程需要提前3小时取消),运营Agent如果不知道不同种类的明细规则、不清楚客户的真实诉求,就会导致误判。

因此,在运营Agent进行Judge服务记录对话内容是否为BadCase之前,我们需要做两件事情:1、识别出客户的诉求;2、根据客户诉求获取强关联的业务内容作为参考知识给LLM。

6.2.1 客户诉求

如何准确的识别出客户的诉求?依靠LLM对当前Query内容进行提取会存在准确性的问题,如果涉及到多轮对话,更需要结合历史对话内容一起才能提取诉求,因为诉求可能会变、也可能多句内容综合起来才能识别出完整的诉求(比如上面的例子)。

更加重要的一点,一些商家的业务场景是比较复杂的,比如某健身企业,包含多种健身品牌,每种品牌下又都有类似名称的课程(比如私教课、团课),每种课程下又有类似的子场景(比如预约课程、取消课程等),这些细分的子场景有些描述内容是比较接近的,会影响客户诉求的识别。

客户的问法千奇百怪,而一个企业客户服务的业务范围是明确的、可枚举的,我们设计了两个层级的关联:业务品类和业务场景。

业务品类类似于“业务线”的概念,类似蚂蚁花呗业务、借呗业务。

业务场景,属于业务二级分类,比如“如何开通借呗服务”、“借呗如何还款”等

我们通过对服务记录数据的分析、以及和业务同学的沟通,梳理出上述KA健身企业7个业务品类、40多个业务场景信息,作为输入内容放入Prompt中,结合历史对话内容,让LLM把Query信息和品类/场景信息做映射判断,同时兼顾了历史诉求的延续、新诉求的产生等,从而识别出客户的当前最新诉求是什么。

如以下案例,

{ "customerQuery": "转让", "robotAnswer": "请问您是想咨询哪种类型的课程转让呢?例如私教课或其他类型?"}, { "customerQuery": "会员卡", "robotAnswer": "请问您是想咨询关于会员卡转让的具体问题吗?"}

用户提问单纯是「会员卡」三个字的话,历史情况下非常容易识别为会员卡咨询等意图,产生误判。经过上述逻辑的处理后,我们能有效地识别用户意图为后续的根因归类、优化建议产出准确性提供了保障。

{ "customerDemand": "会员卡转让咨询", "brand": "**健身会员卡", "scene": "会员卡转让场景", "thought": "客户当前问题为'会员卡',结合历史对话中客户连续提及'转让'和'会员卡',且客服明确询问'是否咨询会员卡转让问题',可判定客户诉求聚焦于会员卡转让。根据品类信息列表匹配规则,'会员卡'属于xx健身的业务种类且未提及其他品牌,品牌xxx,结合业务种类记录为'xxxx'。场景匹配【场景信息】列表第28项'会员卡转让场景'的核心词'转让卡'、'会员卡转让'。"}

业务品类和业务场景信息(或者称为“意图分层体系”)可以通过自动化的方式来抽取,但是也需要人工的介入进行保鲜:

6.2.2 参考知识

评测,需要用“怀疑”的视角看待对话链路中的每一个环节,比如RAG检索到的知识是不是ok的,有没有可能漏掉一些分片信息?

这就和上文中的对话链路的梳理进行了关联,我们和知识Agent、对话Agent约定,将每个中间环节的输出结果进行持久化保存,比如知识Agent在做检索的时候,需要把粗召的结果分片信息保存、精排的结果也需要保存,运营Agent会对每个阶段的结果数据进行判断,如果发现有候选分片在粗召结果中未出现,就会把根因归类视为“粗召遗漏”;或者目标分片在粗召的结果数据中存在,但是在精排的结果分片中却消失了,就会把根因归类视为“精排遗漏”。根据上面这个逻辑,现在就有了一个首要问题,如何知道和Query关联的所有的目标知识分片?

Query或者服务记录,是和某一个客服机器人强绑定的,并且只属于一个机器人,我们一开始的想法,是把和当前机器人绑定的所有知识文档作为候选知识,用Query、历史对话、提取出来的业务品类/业务场景/客户诉求,综合作为输入信息,让LLM校验候选知识中哪些分片内容是和Query强关联的目标分片知识。

这种方式,对于机器人绑定的资料比较少的情况下,是可以适用的,会对机器人绑定资料的每一个分片都做检查,找出目标分片。但是当机器人绑定的资料多的时候就不适合了,因为太慢了!

正常的RAG问答链路中,也会根据设定的阈值从知识库中召回TopN的知识内容,我们在这个基础上,把阈值适当降低,扩大TopN的数量,尽可能的使得和Query相关的内容都被获取到。而且这个召回的数量就不再是全部的文档分片信息了,在性能上也会得到提升。

6.2.3 豁免

由于一些业务场景的特殊性,客户的Query会被规则命中后走特殊的逻辑,比如触发机器人转人工、或者机器人吐出固定的话术等,即使这些机器人回答的内容并不能解决客户的诉求,但是在这种特殊场景下,它的回答内容是符合业务预期的,就不能被判为BadCase,应该被豁免。

最初这个豁免的判断,是和BadCase的发现的逻辑放在一个Prompt中灌输给LLM,符合豁免规则的对话内容不被标记为BadCase。但是实操下来,发现识别会有偏差,为了避免“误杀”,我们把豁免判断抽成了独立的逻辑,先进行豁免的检测,再进行BadCase的识别。

6.3 LLM的对抗

大模型本身也是一种概率性的模型,也就是说即使给定了它“确定”的Prompt,但是它吐出的结果却具有“随机性”。有了前面的规则、数据,我们在让LLM进行BadCase识别的时候就遇到了这种“随机性”导致的问题,这个问题体现在了两个方面:

(1)使用同一个LLM(业界头部的LLM)、相同的Prompt,多次调用,LLM输出的结果并不完全一样;

(2)相同的Prompt,不同的LLM(业界头部的LLM),输出的结果也不完全一样,结果甚至相反;

6.3.1 第一个问题

针对第一个问题,核心在于LLM的“随机采样”,随机性本身不是一个问题,这其实是LLM推理性、多样性的来源。大模型生成结果(文本内容为例),是一个自回归的过程,是一个token一个token进行的。当你输入一个Prompt后,模型会执行如下几个步骤:

关键在于第2步和第3步。

在第2步中,LLM会为给每一个可能的词(姑且把token这么认为)计算分数(logit),然后通过一个叫做 Softmax 的函数,将这些分数转换成概率分布。例如,假设Prompt是“今天的天气真好,我们一起去...”,LLM要预测下一个词,它计算出的原始分数(logits)和经过Softmax后的概率可能如下:

如果没有随机性,模型总是选“公园”,那每次输出都一样,会很死板。为了增加随机性,LLM使用了两个重要的参数:Temperature 和 Top-P

温度是一个在Softmax计算之前应用的参数,它直接重塑概率分布(我个人的粗浅理解):

Top-P是在Softmax计算之后应用的筛选机制,它将候选词按概率从高到低排序,然后只保留一个最小集合,使得这个集合中所有词的概率之和刚刚超过Top-P中的P(例如 p=0.9)。Top-P概要过程如下…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/zhinengkefu/2025112690185.html