设计生产级 RAG 架构

 

利用检索增强生成(RAG,Retrieval-Augmented Generation)技术,将 LLM 建立在你自己的数据之上,实现可靠知识支撑的技术方法与最佳实践。

大型语言模型(LLMs)功能强大——但当它们被迫进行猜测时,却会非常不可靠。

它们会以极度自信的方式作出回答;它们能够用惊人的流畅度编造事实;听起来是不是很熟悉?

检索增强生成(RAG,Retrieval-Augmented Generation)的出现,就是为了消除这种“猜测”。它通过从你自己的私有知识库中检索可验证的数据,为 LLM 的输出提供事实依据。

过去几年里,RAG 已经发展成为任何严肃 AI 系统的核心构建模块之一——从 Agent 框架(agentic frameworks)到开发者 Copilot(developer copilots)都离不开它。

在本文中,我们将使用免费的开源技术,构建一个完整的生产级(production-grade)RAG 架构。

我们将以 Kubernetes 全套文档的 PDF 版本作为示例知识库,并逐步讲解在构建过程中你将面临的关键设计决策。

高层架构(High Level Architecture)

让我们先从高层视角来看一下 RAG,然后再逐步深入细节。

RAG 由两个独立的流程组成:

数据摄取管道(Ingestion Pipeline)

第一个流程用于从你的知识库中提取文本,并将其存储为可搜索的格式。

这是整个 RAG 系统中最重要、也最复杂的部分。如果这一步做不好,那么整个系统基本上就失去了价值。

之所以特别困难,是因为可以采用的技术方案非常多,同时还有大量配置需要根据你的数据类型来决定。

检索与生成

当你的数据已经被转换成可搜索格式之后,你需要一种机制,在用户输入 Prompt 时搜索相关内容(Retrieval),并将这些内容以最佳方式作为上下文注入给 LLM(Generation)。

当这两个流程建立完成后,用户通过基于 LLM 的应用提出问题时,系统会先从知识库中获取相关信息,并在生成回答之前将这些信息补充到上下文中。

你的数据,你的系统

RAG 领域存在大量不同的技术方案和优化技巧。

但这并不意味着你必须使用它们全部。

遗憾的是,也不存在一种“完美架构”能够适用于所有类型的数据并始终可靠地工作。

在设计系统架构时,最重要的决策依据应该始终是你的数据,以及你希望用户如何使用这些数据。

  • • 您的数据是什么格式?(PDF、HTML、JSON、自由格式等)
  • • 你的数据是否具有高度结构化特征?(例如,章节/子章节、层级结构、表格、法律参考等)
  • • 是否还有其他需要索引的元数据?
  • • 是否有任何非文本内容?(例如图片、视频、音频)
  • • 数据规模和数据量有多大?
  • • 用户将如何搜索它?

选择哪种搜索方式?

这是你必须做出的第一个、也是最重要的决定;后续所有设计都会建立在这个决定之上。

关键词搜索(稀疏向量 Sparse Vectors)

关键词搜索是搜索引擎多年来一直采用的传统搜索方式。

系统会从查询语句中提取单词或 token,然后与知识库中各个文档里的单词进行匹配。

这种匹配通常通过稀疏向量(Sparse Vector)来实现。系统会基于一个词汇表(vocabulary),为查询或文档中的每个单词创建对应的索引位置,然后利用这些索引来计算匹配程度。

匹配方法可以从简单的词频统计,到更复杂的方法,例如 Best Match 25(BM25)。

BM25 会利用整个语料库(corpus)计算得到的逆文档频率(Inverse Document Frequency,IDF)来为各个 token 分配权重。

这种权重机制能够降低那些在大量文档中频繁出现的词所带来的噪声,从而获得更加可靠的匹配结果。

大多数全文检索数据库(full-text databases),例如 Lucene 或 ElasticSearch,都采用了某种形式的 BM25 变体。

Embedding 相似度搜索(稠密向量 Dense Vectors)

如果查询中的某个词在知识库中并不存在,那么关键词搜索往往会失效。

Embedding 则能够帮助解决这一问题。

它通过创建文本的数值向量表示(Numeric Vector Representation),也就是所谓的 Embedding,来实现语义层面的匹配。

Embedding 是由一种特殊类型的机器学习模型生成的,这类模型能够捕捉词语背后的语义含义(semantic meaning)。

之所以称为稠密向量(Dense Vectors),是因为模型为每段文本生成的数值向量都具有相同的维度数量。

语义相近的词,其向量在向量空间中的位置也会更加接近。

搜索时会使用余弦相似度(Cosine Similarity)来查找语义相近的文本,因此这种搜索方式通常也被称为语义搜索(Semantic Search)。

向量数据库(Vector Databases)专门针对数值向量的存储进行了优化,并且原生支持基于余弦相似度的搜索。

关系型数据库(Relational Databases),例如 PostgreSQL 和 SQL Server,也开始逐渐原生支持向量功能。

混合搜索(Hybrid Search)

稠密向量搜索(Dense Vectors)与稀疏向量搜索(Sparse Vectors)可以组合在一起,形成混合搜索(Hybrid Search)。

在很多场景下,这种方式往往能够获得最好的检索效果。

目前能够开箱即用支持 Hybrid Search 的数据库并不多。

通常需要通过较为复杂的定制开发,将不同搜索方式的结果融合在一起。

决策:采用 Hybrid Search

在这个案例中,我们将采用 Hybrid Search,因为对于 Kubernetes 文档来说,它最有可能获得最佳效果。

我们将搜索结果的权重设置为:

  • • 70% 来自 Embedding 搜索
  • • 30% 来自关键词搜索(BM25)

我们预计 Embedding 搜索会贡献大部分检索质量,而 BM25 则可以帮助搜索特定术语、代码、配置项等精确内容。

这也是 RAG 系统中非常常见的一种权重比例。

数据库:Qdrant

在选择数据库时,需要考虑以下几个因素:

  • • 支持哪种搜索功能
  • • 预算要求:开源还是商业产品
  • • 隐私要求:是否需要自托管(Self-Hosted)
  • • 流行程度:社区规模与技术支持情况
  • • SDK 支持情况
  • • 是否满足你的性能需求

目前支持 Hybrid Search 的数据库并不算多。

BM25 的实现本身比较麻烦,因为它需要维护整个文本集合中的词频索引(Document Term Frequency Index)。

因此,我建议选择能够帮你自动处理这些工作的向量数据库。

Qdrant 支持同时为文本存储 Dense Vectors 与 Sparse Vectors,并且能够在两者之上执行 Hybrid Query。

检索结果通过 Reciprocal Rank Fusion(RRF)进行融合,这也是目前 RAG 领域的标准做法。

Qdrant 是开源软件(Open Source),并且可以通过 Docker 部署,因此托管和运维都非常简单。

根据前面列出的评估标准,它在我的使用场景中表现非常优秀,包括对 .NET 的支持也非常完善,而这正是我所使用的开发平台。

其他同样支持 Hybrid Search 的优秀数据库还包括:

  • • Weaviate
  • • Pinecone
  • • Milvus

数据摄取管道(Ingestion Pipeline)

既然我们已经决定采用 Hybrid Search,那么我们也就知道,数据摄取管道需要同时生成并存储 Dense Vector Embeddings(稠密向量嵌入)和 Sparse Vectors(稀疏向量)。

我们的 Kubernetes 源文档相当长(这在 RAG 知识库中非常常见),而这种长度并不适合我们的搜索策略,尤其是基于 Embedding 的搜索。

Embedding 的目标是提炼文本的语义含义(semantic meaning),但长文本通常会涉及许多不同主题。

Embedding 在处理较小文本块时效果最好,因为这些文本块通常具有较好的语义一致性(semantic cohesion)。

此外,我们通常也无法将一整篇长文档全部放入 LLM 的上下文窗口(context)中。

我们真正需要的是根据用户查询,从文档中提取最相关的部分。

因此,RAG 系统通常会在生成 Embedding 和存储数据之前,先将文档切分成多个 Chunk。

一个高效的数据摄取管道(尤其是其中的 Chunking 策略),是实现优秀检索召回率(retrieval recall)的最关键因素。

下面是一个标准数据摄取管道所包含的核心步骤:

  • • 提取(Extract)
  • • 预处理(Pre-Process)
  • • 切分(Chunk)
  • • 生成元数据(Generate Metadata)
  • • 生成稠密向量和稀疏向量(Generate Dense and Sparse Vectors)
  • • 存储(Store)

提取(Extraction)

第一步是从源文档中提取文本。

任何能够用于搜索或增强回答的元数据(metadata)也应该一并提取,例如文档名称、页码、摘要等。

如果文档本身具有明确的结构,并且被划分为多个章节,那么最好按照章节进行文本提取。

这样做有助于后续的 Chunking,因为我们可以确保 Chunk 不会跨越多个章节边界。

章节内容会按照页码进行存储,这使得我们能够在后续步骤中重新拼接内容,并确定每个 Chunk 对应于哪些页面。

我通常会将多层子章节(sub-sections)展平(flatten)为一条 Section Path(章节路径),并明确指定结构层级允许嵌套的深度。

通常你需要准备多种文档提取策略,因为不同文档往往具有不同的版式和结构。

在我的演示仓库(demo repo)中,我提供了以下几种实现方式:

  • • SimplePdfExtractor - 从 PDF 中提取全部文本,并将其作为一个单独的章节存储。
  • • **BookmarkPdfExtractor - **读取 PDF 中的书签(Bookmarks),并利用书签来识别章节和嵌套子章节。
  • • **FormatBasedPdfExtractor - 分析文本格式来推断章节结构。这种方法假设标题的字体更大或采用加粗格式,并且随着层级深入,标题的字号或权重会逐渐减小。

Kubernetes 文档的标题格式非常统一,因此 FormatBasedExtractor 能够完美适用于该场景。

下图展示了一个根据标题格式识别出的章节(Section)和子章节(Sub-Section)示例。

Chunking

当你已经将文档提取并划分为章节和子章节之后,其实已经完成了高质量 Chunking 工作的一半。

下一步是将那些较长的章节进一步切分成更小的 Chunk,以便生成质量更高的 Embedding。

Chunk 长度 (Length)

通常情况下,200~300 个 Token 的 Chunk 长度效果不错。

不过,最重要的仍然是针对你的数据进行测试,以确定哪种长度能够获得更好的召回率(recall)。

对于复杂的政策文件(policy documents)或法律文档(legal documents),更大的 Chunk 长度可能效果…

— 以上为试看内容(约 40%),开通会员后阅读全文 —