“Planning with Large Language Models for Conversational Agents”
智能客服已经经过多年的发展,目前的方案主要还是基于传统深度学习技术加构建知识库的方式建设。近年来大模型快速发展,但是由于大模型的幻觉和输出不可控等问题,目前仍未在企业大量投产。
近日平安科技提出了基于大型语言模型的计划型对话代理框架PCA,基于先进的大型语言模型的上下文学习,具有低成本和高可控性,有望成为下一代企业级对话系统。
论文地址:https://arxiv.org/abs/2407.03884
摘要
本文提出了一种基于大型语言模型的计划型对话代理框架(PCA),该框架具有可控性和主动性,并且需要较少的人工注释。在对话之前,LLM离线计划对话的核心和必要SOP。在对话期间,LLM在线计划最佳行动路径,并生成响应以实现过程可控性和主动性。
同时,作者提出了一个半自动对话数据创建框架,并创建了一个高质量的对话数据集(PCA-D)。实验结果表明,PCA-M在对话可控性、主动性、任务成功率和总体逻辑连贯性方面优于其他基线,并适用于工业对话场景。
简介
目前对话系统的四种主流方法:对话问答、开放域对话、任务导向对话和对话推荐系统,每种方法都有它们的局限性。本文提出了一种新的对话框架——基于规划的对话代理(PCA),它可以实现对话的主动性、可控性和减少对人工干预的依赖。PCA利用大型语言模型(LLMs)进行规划,通过离线构建标准操作流程(SOP)来实现在线对话的控制。此外,还提出了一个四个步骤的LLM角色扮演系统来帮助构建对话数据集。未来需要解决的问题包括如何构建既具有主动性又具有可控性的对话数据集、如何实现PCA以及如何准确评估不同方案的效果。
本文提出了基于LLMs的主动性和可控性对话代理,通过离线规划和在线规划实现对话任务的SOP预测。同时,提出了半自动对话数据集策划框架和高质量的中文对话数据集PCA-D。通过ICL、SFT、CoT和MCTS的改进,实现了对SOP的离线规划和对话预测的在线规划,并在单轮对话和综合对话维度上进行了评估。本文从任务定义、数据创建和建模三个方面推进了这一问题的研究,提出了多个变体和评估指标,展示了优越的性能。
任务定义
给定一个对话语料库{T,C,D}。在第i个对话中,T{P,A,S}表示任务定义,其中包括任务和用户概况,P定义了任务目标、相关知识和用户个人概况,代理A包含SOP中的节点和SOP之外的主动动作;用户状态S反映用户在完成任务时的状态。C是一个以agent动作和用户状态为节点的有向图。每个对话回合t包括用户话语回合t和对应的代理响应回合t。此外,我们注释了由用户话语和相应的代理动作引起的更新的用户状态。
PCA包括两个任务。
任务1是SOP预测
给定对话的任务定义t1,模型需要通过将任意两个…