告别无效检索:我用LangExtract + Milvus升级 RAG 管道的实战复盘
今天我们聊下Google 的新开源库 LangExtract。虽然他已经开源了一段时间。但这段时间我一直在实际项目里用它,踩了不少坑,也总结了一些经验。所以,这篇文章不打算讲太多理论,咱们直接上代码,聊实践。
如果你和我一样,曾被 RAG 系统里那些“相似但不相关”的检索结果折磨过,那 LangExtract 绝对值得你花十分钟看看。它只干一件事,但干得非常漂亮:给你的非结构化文本(产品文档、法律合同、用户评论等)精准地打上结构化标签,让RAG 搜索从“猜”变成“查”。
废话不多说,Show me the code。
一、基础篇:五分钟完成首次元数据提取
我们先来个最简单的例子,感受一下它的直接。
1. 环境准备
老规矩,虚拟环境,然后安装必要的库。LangExtract 自身不包含大模型,它作为一个调度和数据结构的库,需要一个后端模型来执行提取,这里我们使用 Google 的 Gemini。
pip install langextract google-generativeai
2. 配置 API 密钥
LangExtract 会默认读取名为LANGEXTRACT_API_KEY 的环境变量来驱动后端模型。
import os# 在实际项目中,请使用 .env 文件或系统环境变量等更安全的方式os.environ["LANGEXTRACT_API_KEY"]="YOUR_GOOGLE_API_KEY"
3. 首次提取代码
假设我们有一段应用服务的 API 简介,需要提取版本和速率。LangExtract 的设计基于“小样本提示”技术,这意味着我们必须提供至少一个完整的示例来“教会”模型,示例的质量直接决定了提取的质量。
import langextract as lximport textwrap# 步骤1:定义提取任务prompt = textwrap.dedent("""从技术文档中精准提取以下字段:1. service_name:从标题中提取出的主要服务或API名称(例如:"认证API","存储服务")2. version_number:仅提取版本号数字(例如:"2.0","1.0"),不要包含"v"或"版本"等文字。3. document_category:文档类型,提取原文中的"参考"、"指南"或"排错指南"。4. rate_limits:任何关于速率限制的信息,提取完整描述。""")# 步骤2:提供高质量示例examples =[lx.data.ExampleData(text="# 支付API v3.0 参考\n\n支付API用于处理所有交易请求。\n\n速率限制: 每分钟500次请求。",extractions=[lx.data.Extraction(extraction_class="service_name", extraction_text="支付API"),lx.data.Extraction(extraction_class="version_number", extraction_text="3.0"),lx.data.Extraction(extraction_class="document_category", extraction_text="参考"),lx.data.Extraction(extraction_class="rate_limits", extraction_text="每分钟500次请求")]),lx.data.ExampleData(text="## 用户认证服务 - 排错指南\n\n本文档适用于 v1.5 版本。如果遇到认证失败,请检查您的API密钥。\n\n速率限制: 无。",extractions=[lx.data.Extraction(extraction_class="service_name", extraction_text="用户认证服务"),lx.data.Extraction(extraction_class="version_number", extraction_text="1.5"),lx.data.Extraction(extraction_class="document_category", extraction_text="排错指南"),lx.data.Extraction(extraction_class="rate_limits", extraction_text="无")])]# 步骤3:在新的输入文本上执行提取input_text = textwrap.dedent("""# 图像处理服务 - 开发者指南欢迎使用我们的图像处理服务。当前稳定版本为2.1。本指南将引导您完成所有设置步骤。### API调用频率为了保证服务稳定,我们对所有用户设置了统一的调用频率上限:每小时1000次调用。""")result_doc = lx.extract(text_or_documents=input_text,prompt_description=prompt,examples=examples,model_id="gemini-1.5-flash-latest",)# 步骤4:处理结果if result_doc.extractions:extracted_metadata ={ext.extraction_class: ext.extraction_text for ext in result_doc.extractions}print("提取出的结构化元数据:")for key, value in extracted_metadata.items():print(f" - {key}: {value}")else:print("未能提取出任何信息。")# 步骤5 (可选): 可视化调试lx.io.save_annotated_documents([result_doc], output_name="extraction_results.jsonl", output_dir=".")html_content = lx.visualize("extraction_results.jsonl")with open("visualization.html","w", encoding="utf-8")as f:f.write(html_content.data)
运行结果:
提取出的结构化元数据:service_name:图像处理服务version_number:2.1document_category:指南rate_limits:每小时1000次调用
看,成了。这就是 LangExtract 的基本用法。但是,要真正发挥它的威力,我们需要一种更结构化的方式。
二、核心工作流 —— 同时提取文本及元数据
LangExtract 的精髓在于通过高质量的示例来指导模型。一个非常好的技巧是,在一次提取中,同时获得一个关键的文本片段(extraction_text)和一组描述该文本的属性字典(attributes)。
我们的目标是:从电影简介中,提取出主角实体(文本),并同步捕获这部电影的类型、角色类型和主题(元数据)。
1. 定义清晰的 Prompt
import textwrapprompt = textwrap.dedent("""从电影简介中,找到核心角色,并提取出它的主要类型、主角类型和核心主题。""")
2. 提供一个标准答案的示例
这一步是关键中的关键。一个好的 Example 远胜…