把一本500页、充斥着各种电路图和专业术语的《高压断路器运维规程》变成一个随叫随到的专家,“拢共”分几步?
N步!
别闹~
在很多人眼里,AI 擅长的是写诗、画画、写营销文案。但它的真正潜力,其实藏在那些最“无聊”、最“硬核”、最“重复”的领域。当晦涩如“天书”的行业知识库、技术手册、法律条文,被 AI “吃透”后,会释放出多大的生产力?
今天,我以电力领域为背景,向你完整展示如何利用 FastGPT,将专业知识库,转化为一个智能问答助手。
这背后,不仅仅是一个工具的使用,更是一套“知识资产活化”的工作流。准备好了吗?让我们一起见证“天书”变“宝典”的全过程。
一、快速了解知识库
FastGPT的优势定位是知识问答,快速构建知识库是它的特长。所以像智能客服、问答助手,使用FastGPT搭建都很方便。
知识库是FastGPT问答类应用的核心模块,用于存储和管理我们的知识。通过上传企业文档、产品资料、FAQ等文件到知识库,可以让根据这些特定的内容来回答问题,而不是依赖通用的AI模型知识。
这样构建的问答助手能够准确回答业务相关问题,比如产品功能介绍、操作流程说明、政策条款解读等,确保回答的准确性和一致性。
知识库使用的背景技术是 RAG(检索增强生成模型,Retrieval-Augmented Generation),它是一种将信息检索与生成模型相结合的混合架构。
首先,检索器从知识库或文档中获取与用户查询相关的内容片段。然后,生成器基于这些检索到的内容生成自然语言输出,确保生成的内容既信息丰富,又具备高度的相关性和准确性。
1、数据存储结构
在 FastGPT 中,整个知识库由库、集合和数据 3 部分组成。集合可以简单理解为一个文件。
一个库中可以包含多个集合,一个集合中可以包含多组数据。最小的搜索单位是库,也就是说,知识库搜索时,是对整个库进行搜索,而集合仅是为了对数据进行分类管理,与搜索效果无关。
2、检索方案(详见下图)
- 通过「问题优化」实现指代消除和问题扩展,从而增加连续对话的检索能力以及语义丰富度。
- 通过「Concat query」来增加「Rerank」连续对话的时,排序的准确性
- 通过「RRF」合并方式,综合多个渠道的检索效果。
- 通过「Rerank」来二次排序,提高精度。
3、问题优化
在使用“知识库搜索”插件时,它有一项设置叫做“问题优化”,FastGPT 会把输入的问题进行优化,并拆解为多个相关问题并行输入给知识库,得到多个结果之后,对结果合并,使用重排算法对结果排序。
问题优化用在问题模糊、多轮对话的场景下挺好用的。比如下面这个例子:
用户提问:“第二点是什么?”
如果只去知识库里查找“第二点是什么”,压根查不到内容。
实际上,用户是基于上一步的答案,追问“QA结构是什么”,这时,我们打开「问题优化」来对用户当前的问题进行补全,从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下:
在我真实使用时,在使用知识库搜索插件时,会特别注意「问题优化」的效果如何。如果输入给知识库插件的问题比较清楚,我建议关闭“问题优化”开关。
二、搭建电力场景下的逆变器故障咨询助手
我将使用“逆变器故障问答”的场景,来展示问答助手的通用解法。首先,了解一下这个小助手的需求:
🎯1、精准意图识别:能够准确理解用户问题背后的真实需求
2、智能知识库路由:根据识别的意图,自动选择最合适的知识库进行检索
3、如果用户的问题在知识库当中没有,需要明确告诉用户:不好意思,这个问题在我的知识库中没有,请你询问与逆变器相关问题,我可以为你解答
4、在回复用户故障问题之后一定要询问用户:请问您是哪个省份的,我将为您提供对应技术专家的联系方式。
5、接收到用户提供的省份后,根据省份和知识库召回的信息,给用户准确的答复,回复示例:您所在省份的技术专家联系方式是:{{知识库的联系方式}}
6、用户如果提到深圳,也需要能判断是广东的,并返回广东省的技术专家联系方式
本例中,我将提供两份文件,用于搭建知识库:一份是《逆变器故障诊断与处理Q&A文档.md》,一份是《各省份售后联系电话表.md》。两份文件如下图所示:
整个工作流建成之后如下图所示:
三、构建知识库
我们需要建立两个知识库,分别处理上面的两份文件。
(一)构建《逆变器故障诊断与处理Q&A文档》知识库
1、点击右上角「新建」,新建“通用知识库”。
2、输入名称“逆变器故障诊断与处理Q&A文档”,其他模型保持默认。
3、点击右上角「新建/导入」,选择“文本数据集”。
选择本地文件。
4、上传文档。
5、设置参数。
我的文档已经做过标准化处理,每个知识块使用两个回车符分隔。
数据处理方式,选择“分块存储”。分隔符选择“2 个换行符”,其他参数默认。
在数据处理方式,选择“问答对提取”也是可以的。问答对,特别适合一问一答的内容格式。究竟选择哪一种方式,从效果上看是最保险的。
点击下一步,查看分块的效果。可以用鼠标点一点每一个分块,是否包含了“一个问题+一个答案”。这一步的效果很关键,直接决定知识库召回结果的准确性。
点击下一步,知识库建立完成。
(二)构建《各省份售后联系电话表》知识库
《各省市售后联系电话表》这份文档是 md 格式,我试了一下分块和召回的效果,准确性很低,不适合使用大模型直接召回,而适合用解析数据表格(比如 csv 格式)的方式来处理。
像上一个知识库一样,新建一个通用知识库,选择「模板导入」。
FastGPT 近期更新之后,csv格式的文档上传格式发生了变化,下面有图是 FastGPT 要求的上传格式。
按照模板准备好文件后,上传解析、导入。
上传成功后,我们来测试一下:“北京的售后电话”。返回的结果是准确的。在这里,大家也注意到了,返回结果是多条,并非一条,因此在获取知识库输出之后,要增加一个步骤:取第一条结果。
至此,知识库已经构建完成。接下来,到了搭建工作流的时刻!
四、搭建问答助手工作流
根据需求,得出“逆变器问答助手”需要处理如下三条逻辑分支:
(一)构建用户问题分类节点
用户询问问题之后,我们需要判断问题的类型,分而治之。这种场景,通常使用「问题分类」插件。
点击左侧“+”,在基础功能中选择“问题分类”,按照下图所示,做好连接和设置。针对用户输入的问题分为三类:逆变器问题、省市、其他问题。
提示词如下:
你是一个问题分类专家,请根据以下规则对用户输入进行分类:## 分类规则1.**逆变器问题**:当用户询问关于逆变器的技术问题、故障、维护、性能等相关内容时 - 包含:逆变器故障诊断、告警信息、性能参数、安装维护等 - 输出:逆变器问题2.**省市**:仅当用户明确告知或说明自己所在位置、居住地、当前位置时 - 关键标识:我在[地名]、我住在[地名]、我的位置是[地名]、我来自[地名]等 - 注意:仅仅提到地名但不是在说明自己位置的,不属于此类 - 输出:具体的省市名称3.**其他问题**:不属于以上两类的所有问题 - 输出:其他问题## 判断要点- 对于包含地名的输入,重点判断用户意图: - 是在告知自己的位置信息 → 省市 - 是在询问关于该地的问题 → 其他问题 - 是在陈述关于该地的事实 → 其他问题## 输出要求仅输出分类结果,不添加任何解释或其他内容。## 示例输入:逆变器显示"绝缘阻抗低"告警,可能的原因和处理方法是什么?输出:逆变器问题输入:我现在在北京输出:北京输入:我家在上海输出:上海输入:北京的天气怎么样?输出:其他问题输入:北京是中国的首都吗?输出:其他问题输入:请问杭州有哪些旅游景点?输出:其他问题输入:逆变器的转换效率一般是多少?输出:逆变器问题
“问题分类”节点的三个问题分类,分别代表三条工作逻辑。接下来,我们一条条搭建。
(二)搭建“逆变器问题回答”工作流
Step 1:增加「知识库搜索」节点
1、添加「知识库搜索」插件,与「问题分类」插件的分类“逆变器问题”相连,如下图所示。
2、选择知识库:勾选“逆变器故障诊断与处理Q&A文档”知识库。
3、关闭“问题优化”功能。关闭这个功能是从测试效果得出来的结论。
Step 2:选择知识库召回的最优解
1、增加「代码运行」插件,与上一步「知识库搜索」插件相连,如下图所示。
2、“知…