微调Rerank模型完整指南
Rerank(重排序)模型是RAG系统中的关键组件,能够显著提升检索精度。本文将详细介绍如何使用LlamaIndex微调Cross-Encoder类型的Rerank模型,让你的RAG系统更精准、更智能。
🎯 核心价值:通过微调Rerank模型,可以在不改变Embedding模型的情况下,将检索准确率提升10-30%,是优化RAG系统性价比最高的方法之一。
一、Rerank模型基础概念
1. 什么是Rerank模型?
Rerank(重排序)模型是RAG系统中的"精排"组件,用于对初步检索到的文档进行二次排序,选出最相关的文档。
工作流程:
用户查询 → Embedding模型检索Top-K文档(如Top-100) → Rerank模型精排 → 返回Top-N最相关文档(如Top-3)
2. Cross-Encoder vs Bi-Encoder
为什么Cross-Encoder更精准?
• Cross-Encoder可以对查询和文档进行联合编码,使用全注意力机制捕获细粒度的语义交互 • Bi-Encoder只能计算预编码向量的相似度,无法捕获查询-文档之间的深层语义关系
3. 为什么需要微调Rerank模型?
通用模型的局限性:
• 通用Rerank模型(如 bge-reranker-base)在通用领域表现良好• 但在垂直领域(法律、医疗、金融等)可能表现不佳 • 无法理解领域特定的术语、表达方式和语义关系
微调的优势:
• ✅ 领域适配:针对特定领域优化,理解领域术语 • ✅ 任务适配:针对特定任务(如QA、文档检索)优化 • ✅ 数据适配:学习你的数据分布和标注偏好 • ✅ 性能提升:通常能带来10-30%的准确率提升
二、数据准备
1. 数据格式要求
Rerank模型微调需要三元组数据格式:
{
"query":"问题文本",
"passage":"文档/上下文文本",
"score":1// 1表示相关,0表示不相关
}
数据示例:
[
{
"query":"什么是证券法?",
"passage":"证券法是为了规范证券发行和交易行为,保护投资者的合法权益,维护社会经济秩序和社会公共利益,促进社会主义市场经济的发展而制定的法律。",
"score":1
},
{
"query":"什么是证券法?",
"passage":"民法典是调整平等主体的自然人、法人和非法人组织之间的人身关系和财产关系的法律规范的总称。",
"score":0
}
]
2. 数据收集策略
方法1:人工标注
• 从实际业务场景中收集查询-文档对 • 人工标注相关性(0或1) • 优点:质量高,准确 • 缺点:成本高,耗时长
方法2:从现有数据集提取
• 使用QASPER、MS MARCO等公开数据集 • 从问答对中提取查询和上下文 • 优点:成本低,速度快 • 缺点:可能不完全匹配你的领域
方法3:负样本挖掘(Hard Negatives)
• 使用Embedding模型检索Top-K文档 • 选择相关性较低的文档作为负样本(score=0) • 选择相关性较高的文档作为正样本(score=1) • 优点:数据质量好,训练效果好
3. 数据集规模建议
正负样本比例建议:
• 保持1:1到1:4之间的比例 • 负样本过多可能导致模型过于保守 • 正样本过多可能导致模型过于激进
三、使用LlamaIndex微调Cross-Encoder
1. 环境准备
# 安装LlamaIndex相关包
pip install llama-index-finetuning-cross-encoders
pip install llama-index-llms-openai
pip install llama-index
# 安装其他依赖
pip install datasets
pip install sentence-transformers
pip install torch
2. 数据加载与处理
from llama_index.finetuning.cross_encoders import (
CrossEncoderFinetuneEngine,
CrossEncoderDataModule,
)
from datasets import load_dataset
import pandas as pd
# 方法1:从JSON文件加载
defload_data_from_json(json_path):
"""从JSON文件加载训练数据"""
import json
withopen(json_path, 'r', encoding='utf-8') as f:
data = json.load(f)
# 转换为LlamaIndex格式
train_data = []
for item in data:
train_data.append({
"query": item["query"],
"passage": item["passage"],
"score": item["score"]
})
return train_data
# 方法2:从HuggingFace数据集加载(以QASPER为例)
defload_data_from_hf():
"""从HuggingFace加载QASPER数据集"""
dataset = load_dataset("allenai/qasper")
train_data = []
# 从训练集中提取800个样本
for sample in dataset["train"].select(range(800)):
paper_text = sample["full_text"]["paragraphs"]
questions = sample["qas"]["question"]
answers = sample["qas"]["answers"]
# 构建查询-文档对
for q_idx, question inenumerate(questions):
# 正样本:问题和相关上下文
if answers[q_idx] andlen(answers[q_idx]) > 0:
relevant_context = extract_relevant_context(
paper_text, answers[q_idx]
)
train_data.append({
"query": question,
"passage": relevant_context,
"score": 1
})
# 负样本:问题和无关上下文
irrelevant_context = extract_irrelevant_context(
paper_text, answers[q_idx]
)
train_data.append({
"query": question,
"passage": irrelevant_context,
"score": 0
})
return train_data
# 加载数据
train_data = load_data_from_json("train_rerank.json")
val_data = load_data_from_json("val_rerank.json")
3. 创建微调引擎
from llama_index.finetuning.cross_encoders import CrossEncoderFinetuneEngine
# 初始化微调引擎
finetune_engine = CrossEncoderFinetuneEngine(
train_dataset=train_data, # 训练数据
val_dataset=val_data, # 验证数据(可选)
model_id="cross-encoder/ms-marco-MiniLM-L-12-v2", # 基础模型
model_output_path="./rerank_model_finetuned", # 输出路径
batch_size=16, # 批次大小
epochs=3, # 训练轮数
learning_rate=2e-5, # 学习率
warmup_steps=100, # 预热步数
)
# 开始微调
finetune_engine.finetune()
# 获取微调后的模型
finetuned_model = finetune_engine.get_finetuned_model()
4. 完整微调示例
import os
from llama_index.finetuning.cross_encoders import CrossEncoderFinetuneEngine
from llama_index.postprocessor import CohereRerank, SentenceTransformerRerank
import json
deffinetune_rerank_model():
"""微调Rerank模型的完整流程"""
# 1. 加载数据
BASE_DIR = "./data"
TRAIN_DATA_PATH = os.path.join(BASE_DIR, "train_rerank.json")
VAL_DATA_PATH = os.path.join(BASE_DIR, "val_rerank.json")
withopen(TRAIN_DATA_PATH, 'r', encoding='utf-8') as f:
train_data = json.load(f)
withopen(VAL_DATA_PATH, 'r', encoding='utf-8') as f:
val_data = json.load(f)
# 2. 配置微调参数
finetune_engine = CrossEncoderFinetuneEngine(
train_dataset=train_data,
val_dataset=val_data,
model_id="cross-encoder/ms-marco-MiniLM-L-12-v2", # 或使用 "BAAI/bge-reranker-base"
model_output_path="./rerank_model_finetuned",
batch_size=16,
epochs=3,
learning_rate=2e-5,
warmup_steps=100,
show_progress=True,
)
# 3. 执行微调
print("开始微调Rerank模型...")
finetune_engine.finetune()
print("微调完成!")
# 4. 保存模型(可选:推送到HuggingFace Hub)
# finetune_engine.push_to_hub(
# repo_id="your-username/your-rerank-model",
# token="your-hf-token"
# )
return finetune_engine
if __name__ == "__main__":
finetune_engine = finetune_rerank_model()
四、使用微调后的Rerank模型
1. 在LlamaIndex中使用
from llama_index.postprocessor import SentenceTransformerRerank
from llama_index.core import VectorStoreIndex, Document
from llama_index.embeddings.openai import OpenAIEmbedding
# 1. 加载微调后的Rerank模型
reranker = SentenceTransformerRerank(
model="./rerank_model_finetuned", # 或使用HuggingFace路径
top_n=3, # 返回Top-3文档
)
# 2. 创建向量索引
embed_model = OpenAIEmbedding(model="text-embedding-3-small")
documents…