教程:如何用AutoRAG + Milvus避免RAG 与Agent 中出现串租问题

多租户 RAG 与Agent系统的生产实践中,最致命的事故莫过于数据串租,系统将租户 B 的私有数据作为背景知识,回答了租户 A 的提问。
针对这个问题,本文将深入分析串租发生的根源,并展示如何利用Milvus 的 Partition Key 能力进行物理隔离,同时引入AutoRAG 自动评测框架,实现一整套完整的多租隔离验证机制。

一、串租是怎么发生的

串租的根本原因,通常有两种:
第一,运行时风险(缺少租户过滤的物理边界):查询时如果缺少严格的租户过滤,由于向量空间的连续性,如果 A 和 B 的文档语义相似,又没有 tenant_id 过滤,检索结果就可能跨租户混排。
第二,验证缺失风险(缺乏持续监控):即使代码中加了过滤逻辑,也不能默认它一直有效。模型、数据、索引、检索参数、Pipeline 配置都会变。每次变更后,如果没有自动化评测,就很难知道边界是否还在继续生效。
也是因此,解决以上问题,需要我们从检索执行层(Milvus )以及评测流程(AutoRAG)两手抓起。方法论总结如下:

二、物理隔离层:如何用好Milvus 的Partition Key

在多租户场景中,本文重点使用 Milvus 的 Partition Key。
更多多租户场景的Milvus实战,可以参考Milvus多租户实践:你的技术选型扛得住一夜爆火吗?
在 Partition Key模式下,将 tenant_id 字段设为分区键后,Milvus 会在写入时对该值做 Hash 路由,数据落到对应物理分区;只要查询时携带过滤表达式,系统就会先收敛到对应分区,再做向量相似度搜索。
目前,单个 Collection 支持最多 4096 个物理分区(默认 16 个),足以覆盖绝大多数多租户规模。
值得注意的是,Partition Key 不是权限系统,它不会自动替你判断当前用户属于哪个租户。真正的安全边界仍然依赖业务层从认证上下文中取出 tenant_id,并在每次查询时强制注入过滤条件。
也就是说:如果写入时有 tenant_id 可以哈希路由到对应物理分区,不带 tenant_id 过滤时,会默认访问所有分区里的数据。

三、校验层:AutoRAG 如何做多租的自动化验证

AutoRAG 是一个RAG 流水线自动评测与优化框架,其核心架构分为三层:
数据准备层(Data Creation):Parser 解析文档 → Chunker 切块 → QA Creator 生成评测集,输出标准的 corpus.parquet 和 qa.parquet。
优化核心层(RAG Optimization):通过 YAML 串联 Query Expansion、Retrieval、Reranker、Filter、Prompt Maker 和 Generator 等节点,并自动枚举最优组合:
部署层(Deployment):评测产出的最优 Pipeline 可直接部署为 Runner(代码调用)、REST API 或 Gradio Web UI。
基于以上架构,AutoRAG有两个核心能力:
第一个是 Pipeline 优化。
用户可以在 YAML 里声明候选模块,比如检索器、重排器、生成器。AutoRAG 会自动枚举组合,评测不同配置,并找出效果最好的 Pipeline。
第二个是可重复评测。
评测流程配置好之后,每次换模型、改数据、调参数,都需要重新执行,并用同一套指标横向对比。
本文主要用到的是第二个能力:把“多租户场景下检索结果是否可信”变成可以重复运行的评测流程。
另外,值得一提的是,Milvus 在 AutoRAG 的 Retrieval 节点中是原生一等公民。AutoRAG 的 vectordb 配置里,db_type: milvus 开箱即用,不需要任何适配代码。在 AutoRAG 的评测流水线里,Milvus 也可以直接作为检索后端参与评测,没有额外集成成本。

四、教程:从零构建多租户隔离与验证流水线

Step 1:准备环境
python3 -m venv .venvsource .venv/bin/activatepip install -U pippip install "autorag>=0.3" "pymilvus>=2.4.0" "openai" "pandas" "pyarrow"export OPENAI_API_KEY=sk-... #自行准备OpenAI_API_KEYexport MILVUS_URI=http://127.0.0.1:19530   # Milvus Standalone 服务地址export MILVUS_TOKEN="root:Milvus"
部署 Milvus
# 下载docker-compose.ymlwget https://github.com/milvus-io/milvus/releases/download/v2.6.8/milvus-standalone-docker-compose.yml -O docker-compose.yml# 启动Milvus(检查端口映射:19530:19530)docker-compose up -d# 验证服务启动docker ps | grep milvus# 应该看到3个容器:milvus-standalone, milvus-etcd, milvus-minio
Step 2:准备 AutoRAG 标准格式数据
为了精准验证隔离是否生效,我们需要设计一种“相同提问( q1 和 q2 是文字完全相同的查询)、不同租户、不同答案”的高难度测试集。如果系统隔离失效,全库检索必然会将两个租户的答案混淆。

⚠️ 说明1:AutoRAG 对输入字段有严格的命名约定(如 doc_id、retrieval_gt 等),写错会导致解析报错。

说明 2:以下 Step 2-4 中的 Python 代码块,各自保存为对应的 .py 文件后,在激活的虚拟环境中用 python3 文件名.py 执行。

文件

必须字段

常见错误写法

corpus.parquet

doc_id、contents、metadata

❌ 写成 text,或缺少 metadata

qa.parquet

qid、query、retrieval_gt、generation_gt

❌ 写成 question / answer,或缺少 retrieval_gt

retrieval_gt 是检索标注字段,记录每条问题期望命中的 doc_id 列表,AutoRAG 用它计算 Recall / Precision。没有这个字段,评测无法运行。

import osimport pandas as pdos.makedirs("./data", exist_ok=True)corpus = pd.DataFrame([    {"doc_id": "a-1", "contents": "A租户的报销规则:差旅上限为内部标准。", "metadata": {"tenant_id": "tenant_a"}, "tenant_id": "tenant_a"},    {"doc_id": "a-2", "contents": "A租户合同模板要求法务审批。", "metadata": {"tenant_id": "tenant_a"}, "tenant_id": "tenant_a"},    {"doc_id": "b-1", "contents": "B租户的报销规则:海外差旅需要二级审批。", "metadata": {"tenant_id": "tenant_b"}, "tenant_id": "tenant_b"},    {"doc_id": "b-2", "contents": "B租户合同模板要求采购会签。", "metadata": {"tenant_id": "tenant_b"}, "tenant_id": "tenant_b"},])qa = pd.DataFrame([    {        "qid":"q1",        "query":          "报销规则里差旅审批要求是什么?",        "retrieval_gt":   [["a-1"]],           # List[List[str]]:期望命中的 doc_id 集合        "generation_gt":  ["A租户内部标准。"],  # List[str]:可接受的参考答案        "tenant_id":      "tenant_a",    },    {        "qid":            "q2",        "query":          "报销规则里差旅审批要求是什么?",   # 与 q1 文字完全相同的查询        "retrieval_gt":   [["b-1"]],        "generation_gt":  ["B租户海外差旅需二级审批。"],        "tenant_id":      "tenant_b",    },])corpus.to_parquet("./data/corpus.parquet", index=False)qa.to_parquet("./data/qa.parquet",index=False)
Step 3:创建 Collection 并设置 Partition Key
import osfrom pymilvus import MilvusClient, DataTypeclient = MilvusClient(    uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),    token=os.getenv("MILVUS_TOKEN", ""),)COLLECTION = "kb_multi_tenant_pk"if client.has_collection(COLLECTION):    client.drop_collection(COLLECTION)schema = client.create_schema(auto_id=False, enable_dynamic_field=False)schema.add_field("pk",DataType.VARCHAR, is_primary=True,max_length=64)schema.add_field("tenant_id", DataType.VARCHAR, is_partition_key=True, max_length=64)schema.add_field("doc_id",    DataType.VARCHAR, max_length=64)schema.add_field("contents",  DataType…
— 以上为试看内容(约 40%),开通会员后阅读全文 —