构建高质量的 RAG(检索增强生成)系统,混合搜索策略是绕不开的技术选型。
纯向量语义搜索虽然能理解用户意图,但在处理精确匹配场景时表现不佳。当用户搜索特定的错误代码、API 方法名或产品序列号时,向量搜索往往会召回大量语义相关但实际无用的结果。
纯 BM25 关键字搜索则相反,它能精确匹配字面内容,但无法理解同义词、上下文和用户的真实意图。搜索"如何优化数据库性能"时,它可能会遗漏那些讨论"提升查询效率"的高质量文档。
混合搜索的价值在于取长补短:向量搜索负责语义理解和意图识别,BM25 负责精确匹配和关键词锚定。两者结合,才能在 RAG 系统中实现高召回率和高准确率的平衡。
MeiliSearch:轻量级的混合检索引擎
MeiliSearch 是一个基于 Rust 开发的开源搜索引擎,采用单体架构设计。它基于 LMDB 存储引擎和 HNSW 向量算法,从底层就原生支持全文检索和向量搜索的统一处理。
主要特点:
- • 单一二进制文件,无外部依赖
- • 5 分钟 Docker 启动,2 核 4GB 即可运行
- • 原生支持混合检索,开箱即用
- • 支持 OpenAI、Hugging Face、Ollama 等多种向量模型
混合检索方案
MeiliSearch 通过semanticRatio参数控制向量搜索和 BM25 关键字搜索的权重比例,取值范围 0.0 到 1.0:
- •
0.0:纯关键字搜索,适合精确匹配场景(API 文档、错误码查询) - •
0.5:平衡模式,适合知识库问答 - •
1.0:纯语义搜索,适合客服问答、内容推荐
底层会并行执行向量检索和 BM25 检索,根据 semanticRatio 加权融合,返回统一的排序列表。开发者只需调整一个参数,就能适配不同场景。
Milvus:RAG 领域的事实标准
在向量数据库领域,Milvus 是 RAG 系统的事实标准。它由 Zilliz 开源,是 LF AI & Data 基金会的毕业项目,在全球范围内有广泛的企业级应用案例。
Milvus 的优势:
- • 云原生架构,存储计算分离,支持水平扩展
- • 可处理数十亿级向量数据
- • 支持 HNSW、IVF、DiskANN 等多种 ANN 算法
- • 深度集成 NVIDIA CAGRA,GPU 加速性能极致
但 Milvus 的强大能力也带来了相应的复杂度。
部署和运维成本高:
- • 需要维护 etcd(元数据存储)
- • 需要维护 MinIO 或 S3(对象存储)
- • 需要维护 Kafka 或 Pulsar(消息队列)
- • 配置文件超过 500 个参数
资源占用大:
- • 单节点最低配置:8 核 16GB 内存
- • 生产环境推荐:16 核 32GB 起步
- • 对象存储和消息队列额外占用资源
对于中小规模的 RAG 应用(文档量在百万级以下),Milvus 的架构显得过于重型。
MeiliSearch vs Milvus 对比:
| 维度 | MeiliSearch | Milvus |
|---|---|---|
| 架构 | 单体二进制文件 | 云原生微服务集群 |
| 部署 | 5 分钟 Docker 启动 | 需要 K8s + etcd + MinIO + Kafka |
| 资源占用 | 2 核 4GB 可运行 | 最低 8 核 16GB |
| 数据规模 | 适合百万级文档 | 适合亿级以上向量 |
| 混合检索 | 原生支持,开箱即用 | 需要额外配置 BM25 |
| 学习曲线 | 低,API 简洁 | 高,需要分布式经验 |
| 适用场景 | 中小规模 RAG、快速原型 | 大规模企业级、海量数据 |
MeiliSearch 并不是要取代 Milvus,而是为中小规模场景提供一个更轻量、更易用的选择。相较于 PGVector、SeekDB 等基于传统关系型数据库的向量扩展组件,MeiliSearch 提供了更强大的全文搜索能力和向量搜索能力,更能稳定服务于生产。
Java 实战:从基础到混合搜索
通过 Java 代码演示 MeiliSearch 的完整使用流程。鉴于 MeiliSearch Java SDK 的良好设计,可以非常方便地接入 LangChain4j 和 S…