如何构建一个更“好”的知识库?




本文深入探讨构建高质量 RAG 知识库的垂直技术原理与工程实践。文章首先界定知识库作为外部记忆系统的角色,并引入 RAGAS 框架从检索相关性、生成忠实度及答案相关性维度建立评估标准。随后详细拆解离线索引与在线查询流程,重点分析文档切分策略如 Late Chunking 和意图驱动切分,对比稀疏、稠密及混合检索范式,并阐述HyDE等查询增强技术。此外,文章探讨 Cross-Encoder 重排序机制以优化精度,介绍 AutoRAG 自动化优化、 QuIM-RAG 问题倒排索引及 OpenViking 文件系统范式等前沿架构,旨在通过系统性技术选型解决幻觉、召回不准等问题,实现知识库性能的端到端优化。


什么是 Agent 构建中的知识库?

什么时候应该用它?


▐  考古一下,RAG 的起源


RAG(Retrieval-Augmented Generation,检索增强生成) 由 Facebook AI Research(现 Meta AI)于 2020 年首次提出。


项目
内容
论文
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
作者
Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin 等
发表
NeurIPS 2020
链接

https://arxiv.org/abs/2005.11401


论文的核心贡献在于提出了一种将参数化记忆(Parametric Memory) 与非参数化记忆(Non-Parametric Memory) 相结合的架构:

  • 参数化记忆:预训练 seq2seq 模型(如 BART)的模型权重
  • 非参数化记忆:Wikipedia 语料的密集向量索引,通过 DPR(Dense Passage Retriever)构建

这一架构在开放域问答(Open-Domain QA)任务上显著超越了纯参数化模型,奠定了后续 RAG 研究的基础。


▐  知识库的定义


在 Agent 构建的语境下,知识库(Knowledge Base) 是一个外部记忆系统,用于存储和检索不在模型参数中的信息。它作为 RAG 架构的核心组件,承担非参数化记忆的角色。

RAG 的基本工作流程:

Query → Retriever(检索器) → Top-K Documents → Context Augmentation → Generator(生成器) → Response

其中,知识库的核心接口,就是上传和召回。不同版本和理论,就是召回的内容和排序的区别。


▐  使用知识库可以解决什么问题?


这个问题应该回到 LLM 的固有局限上,知识库是一种对应的解决方案:



▐  适用场景分析


结合前面几点,使用场景也比较清晰了。

适合构建知识库的场景:



不需要知识库的场景:



▐  RAG vs Long Context


随着上下文窗口的扩展(Claude 200K, Gemini 1M+),需要重新审视 RAG 的适用边界:



选型建议:

  • 数据量 < 50K tokens 且更新频率低 → Long Context
  • 数据量大、更新频繁、需要精确召回 → RAG
  • 混合方案:RAG 粗筛 + Long Context 精读


如何评判一个知识库的好坏?


如题,我们想要构建更好的知识库,那么首先需要定义"好"的标准。


▐  评估框架:RAGAS


RAGAS(Retrieval Augmented Generation Assessment) 是目前最广泛采用的 RAG 评估框架,其核心价值在于无参考评估(Reference-Free)——无需人工标注 ground truth 即可进行自动化评估。


项目
内容
论文
RAGAS: Automated Evaluation of Retrieval Augmented Generation
链接
https://arxiv.org/abs/2309.15217
发表
2023


RAGAS 将 RAG 系统的评估分解为三个核心维度:



这三个维度相互独立但互补,共同覆盖 RAG 系统的端到端性能。RAGAS 的关键洞察:RAG 系统的失败往往是检索和生成环节共同造成的,因此必须分别评估,才能定位问题根因。下面来看下这几个环节可以对应的指标有些什么。


▐  检索质量指标


检索环节的目标是:召回与 query 相关的文档片段,并将相关内容排在前面。


Context Precision(上下文精确率)

定义:评估检索器将相关文档排在不相关文档之上的能力。

计算方法:

其中:

直观理解:如果检索了 5 个 chunks,相关的 2 个排在第 1、2 位,比排在第 4、5 位的 precision 更高。


Context Recall(上下文召回率)

定义:评估回答问题所需的信息有多少被成功检索到。

计算方法:

具体步骤:

  1. 将参考答案分解为多个 claims(声明)
  2. 判断每个 claim 是否可归因于检索到的上下文
  3. 计算被支持的 claims 占比

注意:Context Recall 需要参考答案(reference),因此不是完全的 reference-free 指标。


传统 IR 指标:(除 RAGAS 定义的指标外,传统 IR(Information Retrieval)指标仍然适用)



Precision、Recall 与 F1 的关系:

F1 是 Precision 和 Recall 的调和平均数,用于在两者之间取得平衡。当 Precision 和 Recall 差异较大时,F1 会偏向较小的那个值,因此 F1 高意味着两者都不能太低。


▐  生成质量指标


生成环节的目标是:基于检索到的上下文,生成准确、相关的答案。


Faithfulness(忠实度)

定义:生成的答案在事实上是否与检索到的上下文一致。取值范围 [0, 1],值越高表示答案越忠实于上下文。

计算方法:

具体步骤:

  1. 使用 LLM 从答案中提取所有声明(claims)
  2. 对每个声明,验证是否能从检索上下文中推断
  3. 计算被支持的声明占比

示例:



Answer Relevance(答案相关性)

定义:答案是否直接且恰当地回应了问题。该指标不考虑事实准确性,而是惩罚不完整或包含冗余信息的答案。

计算方法:

其中:

核心思想:如果答案正确回应了问题,那么从答案反向生成的问题应该与原问题高度相似。


▐  幻觉问题的深入分析


Faithfulness 指标的本质是检测幻觉。RAG 系统的幻觉可进一步细分为三类:



参考论文:https://arxiv.org/abs/2601.19927


幻觉检测方法



参考论文:https://arxiv.org/abs/2503.21157

不同 RAG 应用场景(医疗、法律、通用 QA)对检测器的要求不同,需根据具体场景选择。


▐  RAG 场景的特殊考量


传统 IR 指标基于语义相似度评估检索质量,但在 RAG 场景下存在一个核心问题:语义相似 ≠ 对 LLM 有用。

ICLERB(In-Context Learning Embedding and Reranker Benchmark)提出了端到端评估思路,这意味着:一个"好"的检索结果,不仅要语义相关,还要能有效支撑 LLM 生成正确答案。

检索候选文档 → 注入 LLM 生成答案 → 评估答案准确性 → 反推检索器效果

参考论文:https://arxiv.org/abs/2411.18947

以上,在理解了评估标准后,接下来拆解知识库构建的完整流程,分析每个环节的优化空间。


构建知识库分为几步?


知识库的构建可以分为两个阶段:离线索引阶段(Indexing) 和 在线查询阶段(Querying)。本章节结合idealab平台(https://idealab.alibaba-inc.com/#/aistudio)的操作进行讲解。

离线索引阶段:Load → Split → Embed → Store



在线查询阶段:Query → Retrieve → Rerank → Generate



▐  离线索引阶段


  • Step 1: Load(文档加载)


这一步很好理解,就是将原始数据从各种来源和格式中提取出来。 目前idealab提供的知识库支持的有odps、语雀、钉钉文档、本地文件。



  • Step 2: Split(文档切分)


将长文档切分为适合检索和上下文注入的片段(chunks)。这是影响检索质量的关键环节。
目前idealab提供的知识库支持的有默认智能切分(使用Opensearch切分方案),自定义切分(固定长度,符号切分),自定义工具切分。




关键参数:

  • chunk_size:块大小,通常 256-1024 tokens
  • chunk_overlap:重叠区域,通常 10%-20%,防止切断关键信息


  • Step 3: Embed(向量化)


使用 Embedding 模型将文本块转换为稠密向量。本环节idealab提供了多种模型可供选择。



  • Step 4: Store(存储与索引)


将向量及其元数据存入向量数据库,建…

— 以上为试看内容(约 40%),开通会员后阅读全文 —