别再让语音机器人“答非所问”:AI Force任务型语音对话技术总结


背景

AI Force在营销、催收、客服服务等多个业务场景都大量依赖了外呼语音对话能力,且都对语音效果有着非常高的要求,AI Force 在过去一年持续投入了语音对话技术建设,逐步沉淀出一套三段语音架构下的的语音对话交互范式,支持了营销,催收,服务等多个业务场景,本文主要总结在这一年中语音对话场景遇到的挑战,技术解法,技术架构的演进以及达到的效果。

快速对话体验:

https://yunxiao-portal.alipay.com/home

语音对话技术挑战

AI Force的业务场景主要是面向企业的服务,语音对话也是面向任务的场景,而我们的语音agent也是面向任务型对话来构建的,例如在营销场景,语音agent需要充当营销专家的角色,进行电话营销,包括汽车行业邀约试驾,装修行业确认用户家装需求,教培行业授课等;而在催收行业,语音agent需要充当催收专员,进行电话催收。

这些不同场景的语音对话都有一个要求:语音agent需要像一个真人小二一样,通过语音对话的方式,完成既定的任务。

那么如何让语音agent能像真人一样完成任务?

这里可以抽象成两个要回的问题:

1.如何让机器人更拟人:首先说话表达上如何更拟人,像真人一样表达;对话体验延迟是否低,是否能像人一样快速的反应和回复;对话上能否像人对话一样自然,包括被打断,抢话,实时回应等。

2.如何让机器人更聪明,更专业:首先要能清晰识别用户的话的含义,即ASR识别的准;能明白自己的任务,基于任务与用户进行对话,完成给的任务,包括:能高效地完成对话流程;能用专业的知识进行回答;能使用工具辅助自己完成任务等。

三段式语音对话的解法

面对这两个核心问题,因端到端语音模型技术目前尚不够成熟,我们采用传统的三段是架构,技术上首先从架构层面将对话拆解为各个模块,然后进行针对性的解决:

面对更拟人的问题的解法

1.TTS:除采购第三方TTS服务商外,还进行了自研,对客服的小二声音进行了精调,在实际电话对话上明显提高了拟人化的表达,首问语挂断率大大降低。

2.双工对话模块:主要包含四块:

a.打断判断:机器人说话时,监测用户说话的状态,并且通过微调的打断模型进行语义上的打断判断,实现机器人能自然的被打断;

b.抢话判断:在机器人准备说话时,会判断用户此时的语音活动,用户没有语音活动时,才进行播报;

c.倾听与实时回复:用户说话时,出现思考停顿时,会判断用户连续说话的状态,若判断到有思考或打断机器人说话时,机器人能像人给出衔接反应表示在倾听,说出:“嗯”,“嗯,您说”这样的衔接语;

d.办公网环境声模拟:外呼等客服场景机器人声音通道添加办公网环境声,模拟客服作业,让用户认为就是在和小二对话;

3.极致耗时架构:采用one-server对话技术架构,一通会话除依赖必要的ASR,TTS模型外,对话主链路上的所有核心链路模块在一台服务器上完成,不涉及任何其他的RPC,DB,中间件缓存等操作,极致耗时处理。

面对如何让机器人更聪明,更专业问题的解法

1.ASR:目前主要还是采购云ASR模型,基于场景热词提高行业场景的准确率,自研ASR已在调试中

2.agent推理技术架构持续演进:从最初的SOP对话到 基于one model多轮对话,再到自研“衍算”语音推理框架,逐步解决了不支持全双工,模型指令遵循不可控,成本高及复杂业务不能支持的问题;在LLM推理,RAG检索,工具调用上都沉淀了一套语音交互对话上的范式。

3.统一对话上下文管理:统一语音上下文管理【打断,抢话,倾听等控制】和agent对话上下文控制,能更自然的控制语音到agent的上下文信息,控制agent更好的,更专业的表达。

AI Force语音对话技术的架构演进

在对这些问题做解法时,技术上也踩了非常多的坑,架构和能力上也在持续的演进,主要分为三个大的阶段:

第一代对话架构【2024-11~2025-03】

方案&技术解法

  • ASR:基于采购的ASR;

  • Agent:复用的在线对话agent,基于大模型+规则构建SOP对话流的方式,整体是基于大模型意图判断后,基于配置的边条件判断选择走到哪个回复节点,在回复节点基于prompt再进行话术生成或返回话术;

  • TTS:基于采购的阿里云cosyvoice;

  • 上下文工程:语音上下文 和 agent文本对话上下文分开管理;

  • 双工对话工程:打断上只要检测到用户说话就打断;没有抢话等逻辑处理;

技术效果

基于三段式初步实现了一套语音对话链路。

效果问题

  • 耗时很长:SOP两段式调用大模型,语音和agent处理分开带来的耗时,tts等连接耗时都影响了耗时,统计端到端录音的平均耗时 > 3.4s;

  • 泛化能力差 & 运营成本高:agent基于sop流程推进,泛化差,需要穷举;

  • 双工对话问题:无法实现全双工对话,一旦打断,如果sop没有边的穷举,很容易就跳转到其他节点;

  • 交互体验差:打断过于灵敏,且频繁出现机器人抢话问题。

第二代对话架构【2025-04~2025-10】

在第一代的基础上,面对在实际业务中遇到的问题,我们在agent推理架构,tts,上下文工程和双工对话工程上做了大量的优化和改进。

方案&技术解法

  • Agent:得益于LLM的效果突破,多轮对话效果上有了明显的提升,我们也从放弃了第一代SOP的推理方案转为全部用LLM进行推理,将整个任务交给大模型进行推理,每轮请求大模型的内容由四部分构成:任务System prompt + 用户对话上下文 + 用户个人背景信息 + 用户当前问题输入。

  • TTS:基于开源的cosyvoice,基于真实服务对话数据进行了精调,在客服,营销场景语音表达上拟人度有明显的提升。

  • 上下文工程:将语音对话上下和agent文本对话上下文统一管理,更好的控制双工对话。

  • 双工对话工程:

  • 打断:升级成支持语义打断,在外呼任务型场景下,主要是用户“听我说”,大部分是不需要打断的,有明确的打断语义才进行打断。技术上通过:【黑名单 + 语义打断模型 + 白名单】规则+模型双重判断下进行用户真实意图的判断;

  • 抢话:引入话轮判断,agent在准备说话时会判断用户的说话状态,若检测到用户有语音活动,则先停止说话,防止agent抢用户话;

  • 倾听模式:语音agent双工对话上新建了倾听模式,用户说话时,出现思考停顿时,会判断用户连续说话的状态,若判断到有思考或打断机器人说话时,机器人能像人给出衔接反应表示在倾听,说出:“嗯”,“嗯,您说”这样的衔接语;

  • 背景声模拟:在agent声音通道模拟办公白噪声,模拟小二作业环境,用户交互更真实;

  • 对话架构上:升级到one-server架构,一通对话,所有逻辑在一台服务上处理,在工程链路上的处理耗时减小到极致。

技术效果

  • 耗时:平均耗…

— 以上为试看内容(约 40%),开通会员后阅读全文 —