经过前面几天的学习,我们已经深入探讨了 Coze Studio 从知识库的创建到文档入库的完整流程。今天,我们将继续这一探索之旅,深入研究知识库的最后一个核心环节 —— 检索(Retrieval),看看在 Coze Studio 中,智能体是如何从知识库中精准高效地找到与用户问题最相关的信息的。Coze Studio 在这方面设计了一套颇为完善的检索流水线,它融合了查询重写、多路并行检索(向量、全文、NL2SQL)以及重排序等多种技术。下面就让我们一起看看它背后的实现细节。
知识库检索配置
在 Coze Studio 中,我们可以为智能体提供特定领域的背景知识,包括文本、表格和图片,让其可以回答领域内的问题:
我们还可以对知识库进行一些配置,以便智能体更好地对知识库进行检索:
这些配置参数包括:
- 调用方式:分为 自动调用 和 按需调用 两种,自动调用指的是每次对话时都会发起一次检索,将检索结果放置在内置的系统提示词中,而按需调用则是将知识库检索封装成一个工具供智能体调用,只有当用户问题确实需要检索知识库时才触发调用。实际上,在开源版本中暂时只支持自动调用,我们之前在学习智能体执行逻辑时已经看到了,通过 Graph API 编排出来的智能体图,知识库检索是必然执行的节点之一,而且在源码中搜索
recallKnowledge工具,也找不到其他地方用到; - 搜索策略:分为 语义、全文 和 混合 三种,语义表示基于向量的文本相关性查询,推荐在需要理解语义关联度和跨语言查询的场景使用,全文表示依赖于关键词的全文搜索,推荐在搜索具有特定名称、缩写词、短语或 ID 的场景使用,混合表示结合全文检索与语义检索的优势,并对结果进行综合排序。
- 最大召回数量:从知识库中返回给大模型的最大段落数,注意默认是 1,可以适当调大一点;
- 最小匹配度:根据设置的匹配度选取段落返回给大模型,低于设定匹配度的内容不会被召回;
- 表格 SQL 查询:同时将查询的自然语言转为 SQL 语句进行查询,SQL 执行结果与 RAG 召回段落一同输入给模型;该选项仅对表格知识库有效;
- 查询改写:结合对话上下文,对用户的问题进行改写,使得改写后的查询更适合检索;
- 结果重排:通过分析用户查询的意图,对召回结果重新排序,使得最相关的内容排在前面;
知识库检索流程
回顾之前学习的智能体执行逻辑,其中有一路负责知识库的检索:
// 新建知识库检索器kr, err := newKnowledgeRetriever(ctx, &retrieverConfig{ knowledgeConfig: conf.Agent.Knowledge,})// 第一个节点检索_ = g.AddLambdaNode(keyOfKnowledgeRetriever, compose.InvokableLambda[*AgentRequest, []*schema.Document](kr.Retrieve), compose.WithNodeName(keyOfKnowledgeRetriever))// 第二个节点组装成字符串_ = g.AddLambdaNode(keyOfKnowledgeRetrieverPack, compose.InvokableLambda[[]*schema.Document, string](kr.PackRetrieveResultInfo), compose.WithOutputKey(placeholderOfKnowledge),)
首先新建一个知识库检索器,将其 Retrieve() 方法作为第一个节点,知识库检索后,该方法返回 []*schema.Document 文档列表,因此还需要第二个节点,调用 PackRetrieveResultInfo 将其组装成字符串,替换系统提示词模版中的 {{ knowledge }} 占位符。
可以看出只要智能体关联了知识库,用户每次对话时总是会触发一次知识库检索,检索的逻辑位于 knowledge 领域层,如下:
func (k *knowledgeSVC) Retrieve(ctx context.Context, request *RetrieveRequest) (response *RetrieveResponse, err error) { // 检索上下文 retrieveContext, err := k.newRetrieveContext(ctx, request) // 查询重写 rewriteNode := compose.InvokableLambda(k.queryRewriteNode) // 向量化召回 vectorRetrieveNode := compose.InvokableLambda(k.vectorRetrieveNode) // ES召回 EsRetrieveNode := compose.InvokableLambda(k.esRetrieveNode) // Nl2Sql召回 Nl2SqlRetrieveNode := compose.InvokableLambda(k.nl2SqlRetrieveNode) // 用户查询透传 passRequestContextNode := compose.InvokableLambda(k.passRequestContext) // 重排序 reRankNode := compose.InvokableLambda(k.reRankNode) // 打包查询结果 packResult := compose.InvokableLambda(k.packResults) // 多路召回 parallelNode := compose.NewParallel(). AddLambda("vectorRetrieveNode", vectorRetrieveNode). AddLambda("esRetrieveNode", EsRetrieveNode). AddLambda("nl2SqlRetrieveNode", Nl2SqlRetrieveNode). AddLambda("passRequestContext", passRequestContextNode) // 编排检索链 chain := compose.NewChain[*RetrieveContext, []*knowledgeModel.RetrieveSlice]() r, err := chain. AppendLambda(rewriteNode). AppendParallel(parallelNode). AppendLambda(reRankNode). AppendLambda…— 以上为试看内容(约 40%),开通会员后阅读全文 —