大模型和算力的快速发展,促进了很多行业的变革,即使目前AI仍然处于“自主行动”的初级阶段,即“辅助人”的阶段,其巨大的潜力和演进路径却是相对明确的。
客服领域,作为最早使用“智能能力”的领域,也随着LLM的发展有了新的生命力。
我们先来看下智能客服的发展。
一、基于NLP的传统机器人客服
曾经以“NLP”、“规则引擎”、“知识库”为基础构建的上一代“机器人客服”,给更加传统的“人工客服”带来了一次“跃进”。但是其意图理解差(多意图理解更难、甚至需要定向训练)、维护成本高(冷启动成本大、知识维护成本大)、对话能力弱(几乎为0的泛化能力、回答生硬、指代消解能力差),也给“机器人客服”带来了不少诟病。这一阶段的客服运营(本文指机器人客服方面的运营,非排班、培训、质检、考核等人工客服方面的运营)重点工作内容为:
- 知识库建设(FAQ喂养): 将常见的客户问题整理成“问题-答案”对;
- 同义词和规则配置: 为每个问题配置大量可能的关键词和同义句。例如,为“如何退款”配置“想退货”、“钱怎么退”、“不要了”等;
- 对话流程设计: 设计复杂的、树状的对话流程(SOP、决策树等),例如,“用户选择A -> 跳转到流程A1 -> 询问信息A2...”;
- 监控与维护: 监控哪些关键词被触发,哪些问题未被识别,然后不断打补丁,添加新规则;
语言是无限的,但规则是有限的。客服运营团队永远在追赶用户层出不穷的新问法,陷入“猫鼠游戏”,疲于奔命。更加心碎的是无论怎么优化,机器人的智能水平上限在设计之初就被规则库的规模锁死了,无法处理规则外的问题。
二、基于RAG的智能客服
大模型的快速发展,重新定义了“机器人客服”,使其向“智能客服”前进了一大步。我们对于LLM在客服上的应用,最开始是从RAG(RAG现在都被说烂了,但还是得说下)作为切入点进入的,目的是为了提升文档问答的准确率、降低知识的运营成本。
RAG为什么有效,因为它既不是单纯的
更不是
而是从“知识库”中找出最相关的内容,将“检索到的信息”和“用户问题”打包成一个超级提示词,LLM 扮演“专家助理”,而非“专家本人”。它既有更加准确的知识作为供给,也能经过LLM的润色表达的更加自然。
-
在检索(Retrieval)方面,作为RAG质量生命线的检索,向量化检索方式的引入,弥补了传统关键词和搜索引擎检索的不足(ES方式),能够有效提升召回率。
-
ES方式:
-
向量化方式:
-
RAG中常将两者融合处理:
-
在增强(Augmentation)方面,将检索到的信息片段和用户问题,精心组装成一个LLM能理解的"提示词",为生成环节奠定基础。这又包括两方面内容:
-
信息组装:
-
在工程侧,将检索环节得到的候选知识分片,按相关性排序,结合历史对话内容拼接成一个完整的"上下文背景信息";
-
提示词工程,这是"增强"环节的灵魂,通常包含以下部分:
-
系统角色: 定义LLM的身份。例:“你是一个专业的客服助手,严格根据提供的背景信息回答问题”;
- 背景信息/指令: 明确告知LLM答案的来源和规则。例:“请严格根据以下用```标记的背景信息来回答最终的问题。如果背景信息中没有答案,请直接说'根据现有信息,我无法回答这个问题',不要编造信息”;
- 背景信息内容: 前面提到的上下文;
- 用户问题: 放入原始的用户问题;
- 输出格式要求(可选): 要求LLM以特定格式(如Markdown、带项目符号的列表)输出,或要求其引用来源。
-
在生成(Generation)方面,将组装好的提示词发送给大语言模型。LLM会基于其强大的语言理解和生成能力,执行以下核心操作:
-
理解指令: 识别自己的角色和回答规则;
- 关联信息: 在提供的背景信息中,定位与问题直接相关的部分;
- 总结和生成: 对找到的信息进行归纳、总结和重新组织,用更自然、流畅的语言表达出来,而不是简单地复制粘贴。
引入RAG之后,我们的机器人客服主链路如下:
RAG的能力,让机器人客服的知识来源从之前较为单一的FAQ维度,跃迁到了整篇的文档维度(doc、pdf、ppt、表格等),对于机器人知识问答场景的影响非常大。
虽然彼时的LLM还没有像现在这么强悍,它能支持的上下文token量级也很有限,所以不少工作(意图理解、多轮的支持、RAG结果的精排等)还是由工程侧和小模型的协作才能完成,但这足以让客服运营的工作内容发生了很大的变化,也使得冷启动、知识维护的成本得到一定程度的降低,毕竟上传知识文档比配置一系列的FAQ要容易很多。客服运营可以将精力放到业务sop流程的构建、知识文档的保鲜上。
三、基于AI原生的智能客服
LLM经历了2022年底的闪耀登场、到2023年的百模大战、再到2024年的AI应用涌现,迎来了2025年的智能体蓬勃发展。随着基模的能力越来越好,可以把更加复杂的逻辑交给LLM理解,甚至可以借助MCP让LLM直接调用外部工具、借助Function-Call的能力实现本地服务数据的动态利用,这让“传统研发”的工程同学可以直接通过对基模的调用(比如基于百炼)手搓完整的机器人客服链路,让基于AI原生的智能客服可以落地。
基于AI原生的智能客服主链路:
链路中使用模型的地方都切换为了LLM,根据使用的场景的不同采用了不同尺寸的LLM,比如改写会使用参数小一点的模型(7b),而规划和决策就会使用参数量大一些的模型(max、32b)。同时因为是对话场景,对于耗时比较敏感,需要权衡LLM的选型和响应时间,一般模型参数越大,效果越好,但是响应时间也会变长。
因为基模的强大,我们可以把更多的内容让LLM去推理判断(相比之前,进化很多),比如可以把复杂的业务逻辑,通过自然语言描述成“如果xxx,那么xxx”这种格式,结合上下文信息,让LLM决策该走什么样的逻辑分支,我们把它称之为“智能SOP”。智能SOP(依然存在很大的优化空间)中需要动态调用LLM以外的内容,可以通过Function-Call的方式实现。
对于知识类的问答,RAG仍然必不可少,而且也在不断进化:
四、对话效果如何评测
基于AI原生搭建的对话链路,做个Demo没问题,但是如果要商业化交付,就得关注实际的效果,本文要讨论的重点内容来了,该如何观测其效果?
虽然整个链路很多环节都用到了LLM,但我们关注的是端到端的机器人回答效果,单纯对LLM本身的评测不是我们的目标。
传统做法是运营人员通过指定评测集,或者从生产环境抽取服务记录,线下进行人工标注看效果。如果发现问题,需要单独记录,找技术进行定位,是问答链路中哪个环节可能出了问题导致了BadCase,修复方案可能是需要运营介入、也可能是技术介入就够了,修复之后再重新评测看结果,整个过程费时、费力。
机器人对话都可以基于AI原生实现了,那么对话链路的效果评估,是不是也可以利用AI原生的能力实现,节省人工参与的成本?
答案是肯定的,我们经过不断地摸索和实践,建设了"评估-诊断-优化"三位一体的运营Agent平台(一个垂类Agent),结合知识Agent和对话中控Agent,一起构建了智能化的AI原生服务闭环体系,实现客服机器人服务质量的持续进化。
在KA客户的实际应用中,服务记录BadCase发现的准确率85%+,根因归类和优化建议生成的准确率80%+,机器人客服的运营同学可以根据运营Agent的产出结果来定向操作,节省了很大的成本。同时,该能力也应用到了ToB的产品中,目前评测能力的综合准确性达到85%+。
五、评测怎么落地
- 首先,评测能力目标的确认,要识别出AI原生客服机器人的回答准确性,对BadCase需要根因的归类,能够对BadCase自动生成优化建议、优化建议具备自动执行的能力。
-
为了实现上述目标,我们需要对完整的对话链路进行拆解,按照功能模块的粒度进行关键信息的落数(DB or 日志),我们就可以根据服务记录的ID,把接收到Query到产出Answer的关键链路都能串联起来。
-
其次,定义效果评测的主框架脉络:
其中:
- 评测集的构建,为了适配不同情况的评测,我们既提供了根据知识内容自动生成评测集的能力,也提供了文件方式上传原声评测集的能力;同时针对已经使用AI原生机器人客服的场景,支持动态根据多种组合条件,从生产环境直接筛选服务记录作为评测集的能力
- 我们的思路是首先根据评判的规则,端到端的看机器人回答的内容是否符合期望(即命中规则),不符合期望的视为BadCase,有了BadCase就缩小了目标范围,为后面进一步进行根因归类和优化建议生成提供了可能性。规则的定义很重要,直接影响BadCase的产出,我们从语义相关性、表达质量、内容合规性、信息完整性等几个维度来评估,每个大的维度下又包含各自更加细致的子维度。
- 根因的归类,会直指BadCase的核心,我们根据上面拆解的对话链路关键环节,从知识的角度、对话中控决策的角度、大模型推理生成的角度出发,定义了十几种根因的类别,包括粗召检测问题、精排问题、生成错误问题、生成幻觉问题等。根因类别的定义越细致,越能更加精准的找到问题、以及解决问题。
- BadCase的根因被识别出来后,部分类别是可以自动生成优化建议、并且自动执行。比如缺少知识的根因类别,可以结合对话上下文自动触发从互联网检索关联知识;粗召遗漏的场景、精排遗漏的场景,可以对识别出的关联分片信息增加相似问,以期再遇到类似Query时增加被召回的概率。我们实际使用下来,自动生成相似问的场景更加容易落地一些。
-
基于AI原生的对话链路,为了保证性能和体验,其使用的LLM参数尺寸都不是特别大。而我们建设的评测能力也是基于AI原生,并且能对同样基于AI原生的对话链路起到“裁判”评测的效果(准确率85%+),有两个和LLM本身的特点很重要,那就是我们在很多环节使用了更大尺寸的LLM,并且针对性开启了思考模式,这就使得LLM的推理能力和判断能力有了更大的发挥空间,同时作为输入给到LLM的关联内容(对话上下文、参考知识、业务规则等)也更加全面,让LLM的思考基础更加充分。
-
最后,提出搭建平台的思路和理论并不困难,尤其还是基于AI原生的场景,但是如果要达成目标,还是得在实践中不断发现问题、思考问题、解决问题,才能提升评测的最终效果。
六、遇到了哪些难题
建设运营Agent进行对话效果评测的过程是痛苦的,规则如何准确生效、上下文怎么设计、怎么降低LLM的抽风等,下面介绍下我们在实践中通过踩坑积累的一点经验,抛砖引玉吧。
6.1 正向评判还是负向评判
要评判机器人吐出答案是不是符合预期,首先就得定义出来“规则”是什么。我们最开始的想法是搞几个通用的规则,每个规则都有分数,让LLM根据输入的Query和机器人吐出的答案Answer,判断Answer是否命中规则。每个规则项根据权重设定了不同的分数,比如“语义相关性”维度分值最大(50分),而“表达质量”维度分值设置的比较低(20分),所有评判维度总分加起来是100分。
这里的分值判断,不是让LLM只做“正向判断”,或者只做“负向判断”,而是一种混合的做法。因为“纯负向”的判断会让LLM过度关注缺陷,忽略整体的价值;而“纯正向”的评判又比较宽松,可能遗漏问题。
我们采用“混合策略”的方式,分层评估,既有明确的红线扣分点,也会给LLM的发挥空间,在一定分值波动阈值内进行综合判断,LLM的思考过程就会变为“找优点 → 找缺点 → 综合权衡”,更接近人类的全面评估。
6.2 业务场景的强依赖
有了上面的评判规则后,我们在实操过程中,发现对于有些服务记录的评判,总是达不到期望的效果,例如当用户咨询“课程取消规则”,机器人在回答时需要进一步澄清明确是哪种类型的课程,才能给出对应的内容,因为不同类型的课程,在使用规则上会有差异(如「A」类型的课程可以上课前2小时取消,而「B」类型的课程需要提前3小时取消),运营Agent如果不知道不同种类的明细规则、不清楚客户的真实诉求,就会导致误判。
因此,在运营Agent进行Judge服务记录对话内容是否为BadCase之前,我们需要做两件事情:1、识别出客户的诉求;2、根据客户诉求获取强关联的业务内容作为参考知识给LLM。
6.2.1 客户诉求
如何准确的识别出客户的诉求?依靠LLM对当前Query内容进行提取会存在准确性的问题,如果涉及到多轮对话,更需要结合历史对话内容一起才能提取诉求,因为诉求可能会变、也可能多句内容综合起来才能识别出完整的诉求(比如上面的例子)。
更加重要的一点,一些商家的业务场景是比较复杂的,比如某健身企业,包含多种健身品牌,每种品牌下又都有类似名称的课程(比如私教课、团课),每种课程下又有类似的子场景(比如预约课程、取消课程等),这些细分的子场景有些描述内容是比较接近的,会影响客户诉求的识别。
客户的问法千奇百怪,而一个企业客户服务的业务范围是明确的、可枚举的,我们设计了两个层级的关联:业务品类和业务场景。
业务品类类似于“业务线”的概念,类似蚂蚁花呗业务、借呗业务。
业务场景,属于业务二级分类,比如“如何开通借呗服务”、“借呗如何还款”等
我们通过对服务记录数据的分析、以及和业务同学的沟通,梳理出上述KA健身企业7个业务品类、40多个业务场景信息,作为输入内容放入Prompt中,结合历史对话内容,让LLM把Query信息和品类/场景信息做映射判断,同时兼顾了历史诉求的延续、新诉求的产生等,从而识别出客户的当前最新诉求是什么。
如以下案例,
{ "customerQuery": "转让", "robotAnswer": "请问您是想咨询哪种类型的课程转让呢?例如私教课或其他类型?"}, { "customerQuery": "会员卡", "robotAnswer": "请问您是想咨询关于会员卡转让的具体问题吗?"}
用户提问单纯是「会员卡」三个字的话,历史情况下非常容易识别为会员卡咨询等意图,产生误判。经过上述逻辑的处理后,我们能有效地识别用户意图为后续的根因归类、优化建议产出准确性提供了保障。
{ "customerDemand": "会员卡转让咨询", "brand": "**健身会员卡", "scene": "会员卡转让场景", "thought": "客户当前问题为'会员卡',结合历史对话中客户连续提及'转让'和'会员卡',且客服明确询问'是否咨询会员卡转让问题',可判定客户诉求聚焦于会员卡转让。根据品类信息列表匹配规则,'会员卡'属于xx健身的业务种类且未提及其他品牌,品牌xxx,结合业务种类记录为'xxxx'。场景匹配【场景信息】列表第28项'会员卡转让场景'的核心词'转让卡'、'会员卡转让'。"}
业务品类和业务场景信息(或者称为“意图分层体系”)可以通过自动化的方式来抽取,但是也需要人工的介入进行保鲜:
6.2.2 参考知识
评测,需要用“怀疑”的视角看待对话链路中的每一个环节,比如RAG检索到的知识是不是ok的,有没有可能漏掉一些分片信息?
这就和上文中的对话链路的梳理进行了关联,我们和知识Agent、对话Agent约定,将每个中间环节的输出结果进行持久化保存,比如知识Agent在做检索的时候,需要把粗召的结果分片信息保存、精排的结果也需要保存,运营Agent会对每个阶段的结果数据进行判断,如果发现有候选分片在粗召结果中未出现,就会把根因归类视为“粗召遗漏”;或者目标分片在粗召的结果数据中存在,但是在精排的结果分片中却消失了,就会把根因归类视为“精排遗漏”。根据上面这个逻辑,现在就有了一个首要问题,如何知道和Query关联的所有的目标知识分片?
Query或者服务记录,是和某一个客服机器人强绑定的,并且只属于一个机器人,我们一开始的想法,是把和当前机器人绑定的所有知识文档作为候选知识,用Query、历史对话、提取出来的业务品类/业务场景/客户诉求,综合作为输入信息,让LLM校验候选知识中哪些分片内容是和Query强关联的目标分片知识。
这种方式,对于机器人绑定的资料比较少的情况下,是可以适用的,会对机器人绑定资料的每一个分片都做检查,找出目标分片。但是当机器人绑定的资料多的时候就不适合了,因为太慢了!
正常的RAG问答链路中,也会根据设定的阈值从知识库中召回TopN的知识内容,我们在这个基础上,把阈值适当降低,扩大TopN的数量,尽可能的使得和Query相关的内容都被获取到。而且这个召回的数量就不再是全部的文档分片信息了,在性能上也会得到提升。
6.2.3 豁免
由于一些业务场景的特殊性,客户的Query会被规则命中后走特殊的逻辑,比如触发机器人转人工、或者机器人吐出固定的话术等,即使这些机器人回答的内容并不能解决客户的诉求,但是在这种特殊场景下,它的回答内容是符合业务预期的,就不能被判为BadCase,应该被豁免。
最初这个豁免的判断,是和BadCase的发现的逻辑放在一个Prompt中灌输给LLM,符合豁免规则的对话内容不被标记为BadCase。但是实操下来,发现识别会有偏差,为了避免“误杀”,我们把豁免判断抽成了独立的逻辑,先进行豁免的检测,再进行BadCase的识别。
6.3 LLM的对抗
大模型本身也是一种概率性的模型,也就是说即使给定了它“确定”的Prompt,但是它吐出的结果却具有“随机性”。有了前面的规则、数据,我们在让LLM进行BadCase识别的时候就遇到了这种“随机性”导致的问题,这个问题体现在了两个方面:
(1)使用同一个LLM(业界头部的LLM)、相同的Prompt,多次调用,LLM输出的结果并不完全一样;
(2)相同的Prompt,不同的LLM(业界头部的LLM),输出的结果也不完全一样,结果甚至相反;
6.3.1 第一个问题
针对第一个问题,核心在于LLM的“随机采样”,随机性本身不是一个问题,这其实是LLM推理性、多样性的来源。大模型生成结果(文本内容为例),是一个自回归的过程,是一个token一个token进行的。当你输入一个Prompt后,模型会执行如下几个步骤:
- step1:处理输入内容;
- step2:计算出所有可能的下一个token的概率分布;
- step3:从这些分布中选出一个token,作为输出;
- step4:把这个新生成的token追加到原有上下文中,再重复上述过程,生成下一个token,如此循环;
关键在于第2步和第3步。
在第2步中,LLM会为给每一个可能的词(姑且把token这么认为)计算分数(logit),然后通过一个叫做 Softmax 的函数,将这些分数转换成概率分布。例如,假设Prompt是“今天的天气真好,我们一起去...”,LLM要预测下一个词,它计算出的原始分数(logits)和经过Softmax后的概率可能如下:
如果没有随机性,模型总是选“公园”,那每次输出都一样,会很死板。为了增加随机性,LLM使用了两个重要的参数:Temperature 和 Top-P
- Temperature(温度)
温度是一个在Softmax计算之前应用的参数,它直接重塑概率分布(我个人的粗浅理解):
概率 = Softmax(原始分数 / Temperature)-
低温度(如 0.1): 除以一个很小的数,会放大高分数和低分数之间的差距;
-
效果:让高概率的词(如“公园”)概率更高,低概率的词(如“飞翔”)概率更低。模型输出变得更确定、保守;
-
在上例中,“公园”的概率可能从65%上升到95%,其他词被严重压制;
-
高温度(如 1.5): 除以一个大于1的数,会缩小分数之间的差距;
-
效果:让概率分布变得更平缓。低概率的词(如“吃饭”、“飞翔”)机会变大了;
-
在上例中,“公园”的概率可能从65%降到40%,“散步”升到30%,“吃饭”升到20%,“飙车”升到10%。输出变得更多样、更有创意,但也更不稳定。
-
Top-P
Top-P是在Softmax计算之后应用的筛选机制,它将候选词按概率从高到低排序,然后只保留一个最小集合,使得这个集合中所有词的概率之和刚刚超过Top-P中的P(例如 p=0.9)。Top-P概要过程如下…