前两篇讲了RAG的核心原理和文档切分,这篇进入RAG的"心脏"——Embedding和向量数据库。
你可能觉得Embedding不就是调个API把文本转成向量嘛,选哪个都差不多。我之前也是这么想的,直到我在一个金融知识库项目里换了Embedding模型,检索准确率直接从62%涨到89%。同样的切分、同样的提示词、同样的模型,就换了个Embedding,效果天差地别。
Embedding模型决定了你的向量空间长什么样,向量数据库决定了你能不能高效地在这个空间里搜索。 这两个选对了,检索的天花板才够高。
Embedding是什么?30秒说清楚
Embedding就是把文本映射成一组数字(向量),语义相近的文本在向量空间里距离近,语义远的距离远。
"苹果手机" → [0.12, -0.34, 0.56, ...] ← 跟下面距离近"iPhone" → [0.15, -0.31, 0.52, ...] ← 跟上面距离近"水果店" → [-0.23, 0.45, -0.12, ...] ← 跟上面距离远
RAG的检索就是:把用户问题转成向量,在向量空间里找距离最近的文档向量。Embedding模型的质量直接决定了"距离近"是否等于"语义相关"。
主流Embedding模型对比
英文为主的开源模型
| 模型 | 维度 | 最大长度 | 特点 | 适用场景 |
|---|---|---|---|---|
| bge-large-en-v1.5 | 1024 | 512 tokens | 英文最强开源 | 英文知识库 |
| e5-large-v2 | 1024 | 512 tokens | 微软开源,多语言 | 通用英文 |
| nomic-embed-text | 768 | 8192 tokens | 超长上下文 | 长文档检索 |
中文为主的开源模型
| 模型 | 维度 | 最大长度 | 特点 | 适用场景 |
|---|---|---|---|---|
| bge-m3 | 1024 | 8192 tokens | 多语言、多功能、长上下文 | 中文首选推荐 |
| bge-large-zh-v1.5 | 1024 | 512 tokens | 中文MTEB榜首 | 中文短文本 |
| gte-Qwen2 | 1536 | 32768 tokens | 阿里开源,超长上下文 | 长文档中文 |
商用API模型
| 模型 | 维度 | 特点 | 价格 |
|---|---|---|---|
| text-embedding-3-small | 1536 | 性价比高 | 便宜 |
| text-embedding-3-large | 3072 | 精度最高 | 贵 |
| Cohere embed-v3 | 1024 | 多语言好 | 中等 |
我的推荐
中文项目无脑选bge-m3。原因:
- 多语言:中英混排的文档也能处理,不用分语言建库
- 长上下文:8192 tokens,比bge-large-zh的512长了16倍
- 多功能:同时支持稠密检索、稀疏检索、多向量检索
- 免费开源:本地部署,数据不出境
from langchain_community.embeddings import HuggingFaceBgeEmbeddingsembedding = HuggingFaceBgeEmbeddings( model_name="BAAI/bge-m3", model_kwargs={"device": "cuda"}, # 有GPU用GPU,没有用cpu encode_kwargs={"normalize_embeddings": True}, # 归一化,余弦相似度)
英文项目或追求极致方便:用OpenAI的text-embedding-3-small,调API就行。
from langchain_openai import OpenAIEmbeddingsembedding = OpenAIEmbeddings(model="text-embedding-3-small")
向量数据库选型:6个主流方案对比
| 数据库 | 类型 | 特点 | 适用场景 | 上手难度 |
|---|---|---|---|---|
| Chroma | 嵌入式 | 轻量、开箱即用、纯Python | 开发测试、小规模 | 最低 |
| FAISS | 内存库 | Meta开源、速度极快、纯内存 | 大规模数据、不需要持久化 | 低 |
| Milvus | 分布式 | 企业级、高性能、云原生 | 生产环境、大规模 | 中高 |
| Qdrant |
— 以上为试看内容(约 40%),开通会员后阅读全文 —