RAG 文档切分(Chunking)策略与实现细节汇总
一、为什么切分是 RAG 的"地基"
RAG 不能把整本书丢给大模型(上下文窗口 + 成本 + 检索精度都顶不住)。关键是因为:切分过大→噪音多、匹配差;切分过小→代词/上下文丢失、易幻觉。"语义完整性 × 检索精度"的平衡点就是切分策略的核心目标。
Amir Teymoori 与 Chroma 2025 研究都把这一步列为"RAG 成败的第一变量"。
二、8 种主流切分策略(按复杂度递增)
1. 固定大小切分 (Fixed-size)
最朴素——按字符数 / Token 数切,带 overlap。
def fixed_size_chunk(text, chunk_size=512, overlap=50): chunks, start = [], 0 while start len(text): chunks.append(text[start:start+chunk_size]) start += chunk_size - overlap return chunks
问题:不懂结构,容易把句子/列表/代码块从中间切断。适用:高度统一的文本(短消息、社交帖子)。
2. 递归字符切分 (Recursive Character)——LangChain 默认,生产环境 80% 的选择
按分隔符列表从大粒度到小粒度依次尝试,满足大小就停。默认 separators:
[”\n\n”, ”\n”, ” ”, ””]
也就是:段落 → 行 → 词 → 字符。这样能最大程度保留语义单元。
from langchain_text_splitters import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter( chunk_size=512, chunk_overlap=50, length_function=len, separators=[”\n\n”, ”\n”, ”. ”, ”? ”, ”! ”, ” ”, ””])chunks = splitter.split_text(your_text)
结论来源:LangChain 官方实现;Chroma 2025 研究指出「400 token + 10–20% overlap」配合 text-embedding-3-large 可达88–89% recall。
3. 文档结构切分 (Document-based)
按格式专属结构切:
MarkdownHeaderTextSplitter按 #/##/###标题切,保留层级 metadataMarkdownTextSplitter按 Markdown 自身语义切(分隔符含代码块围栏 ` ````)
通常两者串联用:先用 MarkdownHeaderTextSplitter 沿标题分大块,再把每个大块喂给 RecursiveCharacterTextSplitter 控大小——既保结构又保长度。
4. 句子切分 (SentenceSplitter)
按句号/问号/感叹号断句,适合对句子语义完整性要求高的场景(FAQ、对话)。
5. 语义切分 (Semantic Chunking)——质量天花板
按"句间相似度"找主题切换点:
from langchain_experimental.text_splitter import SemanticChunkerfrom langchain_openai import OpenAIEmbeddingssplitter = SemanticChunker( OpenAIEmbeddings(), breakpoint_threshold_type=”percentile”, breakpoint_threshold_amount=50)
用句向量之间的余弦相似度,相似度骤降处即切点 Chroma 研究:LLM 语义切分可达 91.9% recall(所有策略最高) 代价:每句都要 embedding,成本线性增加
6. LLM 驱动切分 (LLM-based)
让 LLM 自己读完整文,决定"在哪里切最合理…