用 Unsloth 微调 Embedding 模型,让你的 RAG 检索不再答非所问
你用 RAG 搭了一个知识库问答系统,结果用户一问问题,检索回来的全是不相关的内容。
问题出在哪?大概率是你的 Embedding 模型不够"懂"你的数据。
通用的 Embedding 模型在开放域表现不错,但换到你的专业领域——法律文书、医疗记录、代码文档——它对"相似"的理解可能和你完全不同。
解决方案:微调。用你自己的数据训练 Embedding 模型,让它学会你领域里的"相似"到底是什么意思。
今天介绍的 Unsloth,就是目前做这件事效率最高的开源工具之一。
Unsloth 是什么
Unsloth 是一个专注于大模型高效微调的开源项目,在 GitHub 上已有超过 25K Star。它最近新增了对 Embedding 模型微调的支持,通过 FastSentenceTransformer 接口,实现了:
• 训练速度提升 1.8-3.3 倍(对比 SentenceTransformers + Flash Attention 2) • 显存占用大幅降低(EmbeddingGemma-300M 用 QLoRA 只需 3GB 显存) • 支持 LoRA、QLoRA 和全量微调三种模式
支持哪些模型
Unsloth 支持主流的 Embedding 模型,包括:
如果你的 RAG 系统主要处理中文内容,推荐从 bge-m3 或 Qwen3-Embedding 开始。
怎么用:4 步完成微调
第 1 步:加载模型
from unsloth import FastSentenceTransformer
model = FastSentenceTransformer.from_pretrained(
"BAAI/bge-m3", # 选择你的基座模型
)
Unsloth 的 FastSentenceTransformer 是对…