AI落地主流场景之一是知识库,而做知识库,必定少不了PDF文件。
传统RAG要想精准读取这些图文并茂的PDF,就需要集成PyPDF2、OpenCV、Camelot、Tesseract等多个工具,系统庞杂且低效。此外,不同 PDF 各有侧重:报告重图表、财报重表格、论文重公式,如何精准调用这些工具同样难度不低。
香港大学数据科学学院刚刚开源的RAG-Anything项目,结合开源的Milvus向量数据库,让我们逐渐看到了解决这个问题的曙光。
通过将所有功能封装在一个框架内,并引入VLM增强查询机制,RAG-Anything可以在一个框架内实现分析文本、自动理解图像、表格等多模态内容,提供更全面的答案。
下面,我们将从架构以及实验案例出发,解释为什么它能处理文本、图像、表格与公式,并且在性能上站得住脚。
01
1+3+N技术架构深度解析
RAG-Anything的核心架构可以用"1+3+N"来概括:
1个核心引擎:基于LightRAG的知识图谱构建引擎,负责实体关系抽取和向量化存储。这个引擎的特别之处在于,它不仅处理文本实体,还能理解图像中的对象、表格中的数据关系。
3大模态处理器:
- ImageModalProcessor:除了能做简单的图像识别,还能深度理解图像内容与上下文的关系
- TableModalProcessor:智能解析表格结构,理解数据之间的逻辑关系
- EquationModalProcessor:简单的符号识别基础上,能做到对数学公式的语义理解
N种解析器:支持MinerU和Docling两大解析引擎,可以根据文档类型自动选择最优解析策略。
在"1+3+N"技术架构的基础上,RAG-Anything实现了处理机制的性能突破。把传统传统RAG系统的串行处理方式(先解析文本,再处理图像,最后处理表格)升级成为了并行处理。
## 核心配置展示了并行处理的设计思路config = RAGAnythingConfig( working_dir="./rag_storage", parser="mineru", parse_method="auto", # 自动选择最优解析策略 enable_image_processing=True, enable_table_processing=True, enable_equation_processing=True, max_workers=8 # 支持多线程并行处理)
这种并行架构带来显著效果:处理大型技术文档的速度有了明显提升。测试表明,随着CPU核心数增加,系统处理能力几乎呈线性提升,大幅缩短了文档处理时间。
除此之外,RAG-Anything还采用了分层存储与检索优化
- 文本内容存储在传统向量数据库中
- 图像特征使用专门的视觉向量存储
- 表格数据采用结构化存储
- 公式采用语义向量化存储
这种分层设计的优势在于,系统可以为不同类型的查询使用最适合的检索策略,而非简单地采用一刀切的向量相似度搜索。
原理与架构已经讲清楚了。下面我们用一个最小可运行的示例,在 5 分钟内把文本与图像检索问答跑通。
02
五分钟快速开始(最小可运行示例)
2.1实验目标:
本实验展示如何基于RAG-Anything框架集成Milvus向量数据库以及阿里通义大模型,实现支持文本和图像处理的多模态问答系统。(展示核心代码实现部分,并非完整代码)
2.2为什么选择Milvus?
Milvus的核心优势在于其存算分离的云原生架构,带来极致的弹性伸缩能力和成本效益。通过读写分离与流批一体设计,它在保证高并发性能的同时,还能实现插入即可查的实时性能。此外,无单点故障的设计确保了企业级的高可用与高可靠性。
2.3运行步骤
环境准备
- Python 环境:Python 3.10+
- 向量数据库:Milvus 服务(MilvusLite)
- 云服务:阿里云 API 密钥(LLM + 嵌入服务)
- LLM模型:qwen-vl-max(视觉)
- Embedding模型:tongyi-embedding-vision-plus
- python -m venv .venv && source .venv/bin/activate # Windows 使用 .venvScriptsactivate- pip install -r requirements-min.txt- cp .env.example .env 并填写 DASHSCOPE_API_KEY
- 运行
python minimal_[main.py](<http://main.py>)
- 预期结果
- 终端打印文本问答答案与图像检索命中描述
2.4目录结构
.├─ requirements-min.txt├─ .env.example├─ [config.py](<http://config.py>)├─ milvus_[store.py](<http://store.py>)├─ [adapters.py](<http://adapters.py>)├─ minimal_[main.py](<http://main.py>)└─ sample ├─ docs │ └─ faq_milvus.txt └─ images └─ milvus_arch.png
2.4.1项目依赖
raganythinglightragpymilvus[lite]>=2.3.0aiohttp>=3.8.0orjson>=3.8.0python-dotenv>=1.0.0Pillow>=9.0.0numpy>=1.21.0,<2.0.0rich>=12.0.0
2.4.2环境变量
## 阿里云 DashScopeDASHSCOPE_API_KEY=your_api_key_here# 端点如官方变更,请按需替换ALIYUN_LLM_URL=https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completionsALIYUN_VLM_URL=https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completionsALIYUN_EMBED_URL=https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding# 模型名(统一处配置)LLM_TEXT_MODEL=qwen-maxLLM_VLM_MODEL=qwen-vl-maxEMBED_MODEL=tongyi-embedding-vision-plus# Milvus LiteMILVUS_URI=milvus_lite.dbMILVUS_COLLECTION=rag_multimodal_collectionEMBED_DIM=1152
2.4.3config配置
import osfrom dotenv import load_dotenvload_dotenv()DASHSCOPE_API_KEY = os.getenv("DASHSCOPE_API_KEY", "")LLM_TEXT_MODEL = os.getenv("LLM_TEXT_MODEL", "qwen-max")LLM_VLM_MODEL = os.getenv("LLM_VLM_MODEL", "qwen-vl-max")EMBED_MODEL = os.getenv("EMBED_MODEL", "tongyi-embedding-vision-plus")ALIYUN_LLM_URL = os.getenv("ALIYUN_LLM_URL")ALIYUN_VLM_URL = os.getenv("ALIYUN_VLM_URL")ALIYUN_EMBED_URL = os.getenv("ALIYUN_EMBED_URL")MILVUS_URI = os.getenv("MILVUS_URI", "milvus_lite.db")MILVUS_COLLECTION = os.getenv("MILVUS_COLLECTION", "rag_multimodal_collection")EMBED_DIM = int(os.getenv("EMBED_DIM", "1152"))# 基础运行参数TIMEOUT = 60MAX_RETRIES = 2
2.4.4模型调用
import osimport base64import aiohttpimport asynciofrom typing import List, Dict, Any, Optionalfrom config import ( DASHSCOPE_API_KEY, LLM_TEXT_MODEL, LLM_VLM_MODEL, EMBED_MODEL, ALIYUN_LLM_URL, ALIYUN_VLM_URL, ALIYUN_EMBED_URL, EMBED_DIM, TIMEOUT)HEADERS = { "Authorization": f"Bearer {DASHSCOPE_API_KEY}", "Content-Type": "application/json",}class AliyunLLMAdapter: def __init__(self): self.text_url = ALIYUN_LLM_URL self.vlm_url = ALIYUN_VLM_URL self.text_model = LLM_TEXT_MODEL self.vlm_model = LLM_VLM_MODEL async def chat(self, prompt: str) -> str: payload = { "model": self.text_model, "input": {"messages": [{"role": "user", "content": prompt}]}, "parameters": {"max_tokens": 1024, "temperature": 0.5}, } async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=TIMEOUT)) as s: async with [s.post](<http://s.post>)(self.text_url, json=payload, headers=HEADERS) as r: r.raise_for_status() data = await r.json() return data["output"]["choices"][0]["message"]["content"] async def chat_vlm_with_image(self, prompt: str, image_path: str) -> str: with open(image_path, "rb") as f: image_b64 = base64.b64encode([f.read](<http://f.read>)()).decode("u…