FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2025-10-09

RAG-Anything × Milvus:读PDF要集成20个工具的RAG时代结束了!

告别繁琐工具链!RAG-Anything × Milvus一站式解决PDF多模态解析难题,让知识库构建效率提升数倍。

核心内容:

  1. 传统RAG处理PDF的痛点与集成难题
  2. RAG-Anything的"1+3+N"创新架构解析
  3. 并行处理与分层存储带来的性能突破

AI落地主流场景之一是知识库,而做知识库,必定少不了PDF文件。

传统RAG要想精准读取这些图文并茂的PDF,就需要集成PyPDF2、OpenCV、Camelot、Tesseract等多个工具,系统庞杂且低效。此外,不同 PDF 各有侧重:报告重图表、财报重表格、论文重公式,如何精准调用这些工具同样难度不低。

香港大学数据科学学院刚刚开源的RAG-Anything项目,结合开源的Milvus向量数据库,让我们逐渐看到了解决这个问题的曙光。

通过将所有功能封装在一个框架内,并引入VLM增强查询机制,RAG-Anything可以在一个框架内实现分析文本、自动理解图像、表格等多模态内容,提供更全面的答案。

下面,我们将从架构以及实验案例出发,解释为什么它能处理文本、图像、表格与公式,并且在性能上站得住脚。

01

1+3+N技术架构深度解析

RAG-Anything的核心架构可以用"1+3+N"来概括:

1个核心引擎:基于LightRAG的知识图谱构建引擎,负责实体关系抽取和向量化存储。这个引擎的特别之处在于,它不仅处理文本实体,还能理解图像中的对象、表格中的数据关系。

3大模态处理器:

N种解析器:支持MinerU和Docling两大解析引擎,可以根据文档类型自动选择最优解析策略。

在"1+3+N"技术架构的基础上,RAG-Anything实现了处理机制的性能突破。把传统传统RAG系统的串行处理方式(先解析文本,再处理图像,最后处理表格)升级成为了并行处理。

## 核心配置展示了并行处理的设计思路config = RAGAnythingConfig( working_dir="./rag_storage", parser="mineru", parse_method="auto", # 自动选择最优解析策略 enable_image_processing=True, enable_table_processing=True, enable_equation_processing=True, max_workers=8 # 支持多线程并行处理)

这种并行架构带来显著效果:处理大型技术文档的速度有了明显提升。测试表明,随着CPU核心数增加,系统处理能力几乎呈线性提升,大幅缩短了文档处理时间。

除此之外,RAG-Anything还采用了分层存储与检索优化

这种分层设计的优势在于,系统可以为不同类型的查询使用最适合的检索策略,而非简单地采用一刀切的向量相似度搜索。

原理与架构已经讲清楚了。下面我们用一个最小可运行的示例,在 5 分钟内把文本与图像检索问答跑通。

02

五分钟快速开始(最小可运行示例)

2.1实验目标:

本实验展示如何基于RAG-Anything框架集成Milvus向量数据库以及阿里通义大模型,实现支持文本和图像处理的多模态问答系统。(展示核心代码实现部分,并非完整代码)

2.2为什么选择Milvus?

Milvus的核心优势在于其存算分离的云原生架构,带来极致的弹性伸缩能力和成本效益。通过读写分离与流批一体设计,它在保证高并发性能的同时,还能实现插入即可查的实时性能。此外,无单点故障的设计确保了企业级的高可用与高可靠性。

2.3运行步骤

环境准备


- python -m venv .venv && source .venv/bin/activate # Windows 使用 .venvScriptsactivate- pip install -r requirements-min.txt- cp .env.example .env 并填写 DASHSCOPE_API_KEY
python minimal_[main.py](<http://main.py>)

2.4目录结构

.├─ requirements-min.txt├─ .env.example├─ [config.py](<http://config.py>)├─ milvus_[store.py](<http://store.py>)├─ [adapters.py](<http://adapters.py>)├─ minimal_[main.py](<http://main.py>)└─ sample ├─ docs │ └─ faq_milvus.txt └─ images └─ milvus_arch.png

2.4.1项目依赖

raganythinglightragpymilvus[lite]>=2.3.0aiohttp>=3.8.0orjson>=3.8.0python-dotenv>=1.0.0Pillow>=9.0.0numpy>=1.21.0,<2.0.0rich>=12.0.0

2.4.2环境变量

## 阿里云 DashScopeDASHSCOPE_API_KEY=your_api_key_here# 端点如官方变更,请按需替换ALIYUN_LLM_URL=https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completionsALIYUN_VLM_URL=https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completionsALIYUN_EMBED_URL=https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding# 模型名(统一处配置)LLM_TEXT_MODEL=qwen-maxLLM_VLM_MODEL=qwen-vl-maxEMBED_MODEL=tongyi-embedding-vision-plus# Milvus LiteMILVUS_URI=milvus_lite.dbMILVUS_COLLECTION=rag_multimodal_collectionEMBED_DIM=1152

2.4.3config配置

import osfrom dotenv import load_dotenvload_dotenv()DASHSCOPE_API_KEY = os.getenv("DASHSCOPE_API_KEY", "")LLM_TEXT_MODEL = os.getenv("LLM_TEXT_MODEL", "qwen-max")LLM_VLM_MODEL = os.getenv("LLM_VLM_MODEL", "qwen-vl-max")EMBED_MODEL = os.getenv("EMBED_MODEL", "tongyi-embedding-vision-plus")ALIYUN_LLM_URL = os.getenv("ALIYUN_LLM_URL")ALIYUN_VLM_URL = os.getenv("ALIYUN_VLM_URL")ALIYUN_EMBED_URL = os.getenv("ALIYUN_EMBED_URL")MILVUS_URI = os.getenv("MILVUS_URI", "milvus_lite.db")MILVUS_COLLECTION = os.getenv("MILVUS_COLLECTION", "rag_multimodal_collection")EMBED_DIM = int(os.getenv("EMBED_DIM", "1152"))# 基础运行参数TIMEOUT = 60MAX_RETRIES = 2

2.4.4模型调用

import osimport base64import aiohttpimport asynciofrom typing import List, Dict, Any, Optionalfrom config import ( DASHSCOPE_API_KEY, LLM_TEXT_MODEL, LLM_VLM_MODEL, EMBED_MODEL, ALIYUN_LLM_URL, ALIYUN_VLM_URL, ALIYUN_EMBED_URL, EMBED_DIM, TIMEOUT)HEADERS = { "Authorization": f"Bearer {DASHSCOPE_API_KEY}", "Content-Type": "application/json",}class AliyunLLMAdapter: def __init__(self): self.text_url = ALIYUN_LLM_URL self.vlm_url = ALIYUN_VLM_URL self.text_model = LLM_TEXT_MODEL self.vlm_model = LLM_VLM_MODEL async def chat(self, prompt: str) -> str: payload = { "model": self.text_model, "input": {"messages": [{"role": "user", "content": prompt}]}, "parameters": {"max_tokens": 1024, "temperature": 0.5}, } async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=TIMEOUT)) as s: async with [s.post](<http://s.post>)(self.text_url, json=payload, headers=HEADERS) as r: r.raise_for_status() data = await r.json() return data["output"]["choices"][0]["message"]["content"] async def chat_vlm_with_image(self, prompt: str, image_path: str) -> str: with open(image_path, "rb") as f: image_b64 = base64.b64encode([f.read](<http://f.read>)()).decode("u…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2025100959478.html