本文基于本项目的实际实现,介绍基于langchain框架,从文档导入到向量存储、再到多轮检索问答的端到端RAG实践。使用Langfuse实现LLMOps监控,自动捕获链中每一步的输入输出。
整体框架
应用程序
程序跑起来的样子:
一、文档加载与切分
1.1 多格式加载
针对不同文档格式使用对应的 Loader,保留原始结构与元数据(如页码、来源路径):
## document_processor.pyfrom langchain_community.document_loaders import PyPDFLoader, UnstructuredMarkdownLoaderdef load_document(file_path: str):ext = os.path.splitext(file_path)[1].lower()if ext == ".pdf":loader = PyPDFLoader(file_path) # 逐页加载,自动提取页码到 metadataelif ext == ".md":loader = UnstructuredMarkdownLoader(file_path) # 保留 Markdown 结构else:raise ValueError(f"不支持的文件格式: {ext}")return loader.load()
说明:
- PDF 使用
PyPDFLoader,每页生成一个Document,metadata["page"]自动记录页码 - Markdown使用
UnstructuredMarkdownLoader,可保留标题层级语义 - 始终验证返回列表非空,避免空文档流入后续流程
1.2 递归文本切分
文本切分是影响检索质量的关键环节。使用 RecursiveCharacterTextSplitter 按语义边界(段落→句子→词)逐级尝试切分:
from langchain_text_splitters import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter(chunk_size=1000, # 每块最大字符数chunk_overlap=100, # 相邻块重叠字符数,保留上下文连续性)chunks = splitter.split_documents(docs)# 过滤纯空白块,避免噪声进入向量库chunks = [c for c in chunks if c.page_content.strip()]
关键参数权衡:
| 参数 | 偏小 | 偏大 |
|---|---|---|
| chunk_size | 语义不完整,上下文丢失 | 噪声增多,检索精度下降 |
| chunk_overlap | 块边界处信息断裂 冗余数据增加 | 向量库膨胀 |
说明:
- 中文技术文档推荐
chunk_size=800~1200,chunk_overlap=80~150 - 对结构化文档(表格、列表为主)可适当降低
chunk_size - 切分后务必过滤空白块,否则会引入无意义的零向量污染检索结果
二、向量化与存储
2.1 Embeddings 选型
本项目使用 text-embedding-v3 模型:
## config.pyfrom langchain_community.embeddings import DashScopeEmbeddingsdef get_embeddings():return DashScopeEmbeddings(model="text-embedding-v3",dashscope_api_key=DASHSCOPE_API_KEY,)
说明:
- Embeddings 模型与 LLM 的语言偏好应保持一致(中文文档 → 中文 Embeddings)
- 不同 Embeddings 模型生成的向量不可混用;更换模型后必须重建整个向量库
2.2 FAISS 向量库
## vector_store.pyfrom langchain_community.vectorstores import FAISSdef create_vector_store(documents):embeddings = get_embeddings()vector_store = FAISS.from_documents(documents, embeddings)return vector_storedef get_retriever(vector_store, k=3):return vector_store.as_retriever(search_kwargs={"k": k})
FAISS 在内存中构建索引,适合中小规模知识库(万级以内文本块)。as_retriever(search_kwargs={"k": 3}) 表示每次检索返回相似度最高的 3 个文档块。
最佳实践:
k值推荐 3~5;过小会漏掉关键片段,过大则引入噪声,稀释 LLM 的注意力- 生产环境中需要将向量库持久化到磁盘,避免重启后重新构建:
vector_store.save_local("faiss_index") # 保存FAISS.load_local("faiss_index", embeddings) # 加载
- 文档更新时,用 vector_store.add_documents(new_chunks)增量追加,而非全量重建
三、对话检索链
3.1 链的工作流程
ConversationalRetrievalChain 将多轮对话与向量检索结合,分两步执行:
用户提问 + 对话历史│▼ Step 1: 问题改写[Condense Question LLM]将追问改写为独立的完整问题│▼ Step 2: 检索 + 生成[Retriever] → 相关文档块│[QA LLM] → 最终回答
3.2 Prompt 设计
问…
— 以上为试看内容(约 40%),开通会员后阅读全文 —