RAG 文档切分(Chunking)策略与实现细节汇总

一、为什么切分是 RAG 的"地基"

RAG 不能把整本书丢给大模型(上下文窗口 + 成本 + 检索精度都顶不住)。关键是因为:切分过大→噪音多、匹配差;切分过小→代词/上下文丢失、易幻觉。"语义完整性 × 检索精度"的平衡点就是切分策略的核心目标。

Amir Teymoori 与 Chroma 2025 研究都把这一步列为"RAG 成败的第一变量"。


二、8 种主流切分策略(按复杂度递增)

1. 固定大小切分 (Fixed-size)

最朴素——按字符数 / Token 数切,带 overlap。

def fixed_size_chunk(text, chunk_size=512, overlap=50):    chunks, start = [], 0    while start  len(text):        chunks.append(text[start:start+chunk_size])        start += chunk_size - overlap    return chunks

问题:不懂结构,容易把句子/列表/代码块从中间切断。适用:高度统一的文本(短消息、社交帖子)。

2. 递归字符切分 (Recursive Character)——LangChain 默认,生产环境 80% 的选择

按分隔符列表从大粒度到小粒度依次尝试,满足大小就停。默认 separators:

[”\n\n”, ”\n”, ” ”, ””]

也就是:段落 → 行 → 词 → 字符。这样能最大程度保留语义单元。

from langchain_text_splitters import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter(    chunk_size=512, chunk_overlap=50,    length_function=len,    separators=[”\n\n”, ”\n”, ”. ”, ”? ”, ”! ”, ” ”, ””])chunks = splitter.split_text(your_text)

结论来源:LangChain 官方实现;Chroma 2025 研究指出「400 token + 10–20% overlap」配合 text-embedding-3-large 可达88–89% recall。

3. 文档结构切分 (Document-based)

按格式专属结构切:

  • MarkdownHeaderTextSplitter
     按 #/##/### 标题切,保留层级 metadata
  • MarkdownTextSplitter
     按 Markdown 自身语义切(分隔符含代码块围栏 ` ````)

通常两者串联用:先用 MarkdownHeaderTextSplitter 沿标题分大块,再把每个大块喂给 RecursiveCharacterTextSplitter 控大小——既保结构又保长度。

4. 句子切分 (SentenceSplitter)

按句号/问号/感叹号断句,适合对句子语义完整性要求高的场景(FAQ、对话)。

5. 语义切分 (Semantic Chunking)——质量天花板

按"句间相似度"找主题切换点:

from langchain_experimental.text_splitter import SemanticChunkerfrom langchain_openai import OpenAIEmbeddingssplitter = SemanticChunker(    OpenAIEmbeddings(),    breakpoint_threshold_type=”percentile”,    breakpoint_threshold_amount=50)
  • 用句向量之间的余弦相似度,相似度骤降处即切点
  • Chroma 研究:LLM 语义切分可达 91.9% recall(所有策略最高)
  • 代价:每句都要 embedding,成本线性增加

6. LLM 驱动切分 (LLM-based)

让 LLM 自己读完整文,决定"在哪里切最合理…

— 以上为试看内容(约 40%),开通会员后阅读全文 —