教程:如何用AutoRAG + Milvus避免RAG 与Agent 中出现串租问题
一、串租是怎么发生的
二、物理隔离层:如何用好Milvus 的Partition Key
三、校验层:AutoRAG 如何做多租的自动化验证
四、教程:从零构建多租户隔离与验证流水线
python3 -m venv .venvsource .venv/bin/activatepip install -U pippip install "autorag>=0.3" "pymilvus>=2.4.0" "openai" "pandas" "pyarrow"export OPENAI_API_KEY=sk-... #自行准备OpenAI_API_KEYexport MILVUS_URI=http://127.0.0.1:19530 # Milvus Standalone 服务地址export MILVUS_TOKEN="root:Milvus"
# 下载docker-compose.ymlwget https://github.com/milvus-io/milvus/releases/download/v2.6.8/milvus-standalone-docker-compose.yml -O docker-compose.yml# 启动Milvus(检查端口映射:19530:19530)docker-compose up -d# 验证服务启动docker ps | grep milvus# 应该看到3个容器:milvus-standalone, milvus-etcd, milvus-minio
⚠️ 说明1:AutoRAG 对输入字段有严格的命名约定(如
doc_id、retrieval_gt等),写错会导致解析报错。说明 2:以下 Step 2-4 中的 Python 代码块,各自保存为对应的
.py文件后,在激活的虚拟环境中用python3 文件名.py执行。
文件 | 必须字段 | 常见错误写法 |
|
| ❌ 写成 |
|
| ❌ 写成 |
retrieval_gt是检索标注字段,记录每条问题期望命中的doc_id列表,AutoRAG 用它计算 Recall / Precision。没有这个字段,评测无法运行。
import osimport pandas as pdos.makedirs("./data", exist_ok=True)corpus = pd.DataFrame([ {"doc_id": "a-1", "contents": "A租户的报销规则:差旅上限为内部标准。", "metadata": {"tenant_id": "tenant_a"}, "tenant_id": "tenant_a"}, {"doc_id": "a-2", "contents": "A租户合同模板要求法务审批。", "metadata": {"tenant_id": "tenant_a"}, "tenant_id": "tenant_a"}, {"doc_id": "b-1", "contents": "B租户的报销规则:海外差旅需要二级审批。", "metadata": {"tenant_id": "tenant_b"}, "tenant_id": "tenant_b"}, {"doc_id": "b-2", "contents": "B租户合同模板要求采购会签。", "metadata": {"tenant_id": "tenant_b"}, "tenant_id": "tenant_b"},])qa = pd.DataFrame([ { "qid":"q1", "query": "报销规则里差旅审批要求是什么?", "retrieval_gt": [["a-1"]], # List[List[str]]:期望命中的 doc_id 集合 "generation_gt": ["A租户内部标准。"], # List[str]:可接受的参考答案 "tenant_id": "tenant_a", }, { "qid": "q2", "query": "报销规则里差旅审批要求是什么?", # 与 q1 文字完全相同的查询 "retrieval_gt": [["b-1"]], "generation_gt": ["B租户海外差旅需二级审批。"], "tenant_id": "tenant_b", },])corpus.to_parquet("./data/corpus.parquet", index=False)qa.to_parquet("./data/qa.parquet",index=False)import osfrom pymilvus import MilvusClient, DataTypeclient = MilvusClient( uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"), token=os.getenv("MILVUS_TOKEN", ""),)COLLECTION = "kb_multi_tenant_pk"if client.has_collection(COLLECTION): client.drop_collection(COLLECTION)schema = client.create_schema(auto_id=False, enable_dynamic_field=False)schema.add_field("pk",DataType.VARCHAR, is_primary=True,max_length=64)schema.add_field("tenant_id", DataType.VARCHAR, is_partition_key=True, max_length=64)schema.add_field("doc_id", DataType.VARCHAR, max_length=64)schema.add_field("contents", DataType…