企业知识库混合检索:架构设计与工程实践

写在前面

做专业文档 RAG,瓶颈很少是「大模型不够强」,而是 Query 类型与召回信号不匹配。

  • 搜错误码、接口名、条款编号 → 需要 词面(lexical) 命中
  • 搜口语化问题、释义改写 → 需要 语义(semantic) 近邻

两路信号量纲不同。只用 dense,硬词易漏;只用关键词,语境易偏。FastGPT、RAGFlow 早已默认「向量 + 全文」;本文记录一套以 Milvus 2.5 同库 Hybrid(dense + Sparse-BM25 + RRF) 为主底座的落地设计:如何分层、如何读分。

边界: Hybrid 不解决切片错误、过期正文、权限过滤——那些是入库与治理问题。切片质量仍是检索上限。

1. 行业对照与设计约束

维度
FastGPT
RAGFlow
本文落地选法
Lexical
MongoDB 全文
ES BM25 + IK
Milvus Sparse-BM25
Dense
PgVector
ES / Milvus
Milvus dense
Rank fusion
RRF
RRF / Weighted
RRF(库级可 Weighted)
Rerank
支持
支持
支持
Query Rewrite
支持
支持
支持(可按场景关闭)
外部库
—
自建 ES
可选 HTTP 外挂

四条约束决定了后面的架构形状:

  1. Lexical 必须生产级。 Milvus Built-in Sparse 后,仅为 Hybrid 再养一套 ES,成本通常不划算(已有 ES 基建除外)。
  2. Rewrite 是可选阶段。 多轮指代有用;Query 已完整时关闭,少一次模型往返与改写漂移。
  3. 差异化放编排,不放第二套混合栈。 「指定文档优先 + 全库补召回」「token 控篇幅」比再造「先选书再找段」更可控。
  4. 外部 RAG 用 HTTP 补召回即可,不必复刻对方 ES 全栈。

对齐开源的是 Dense + BM25、RRF/Weighted、Rerank;自建差异落在范围优先 + 全库补召回、分库 token 预算、HTTP 外挂补充。

2. 端到端检索管道

Hybrid 只负责 Candidate Generation(初筛)。完整链路是漏斗,不是单分数系统。

阶段
目标
看什么分
常见误用
初筛
从全库捞候选
融合分;纯 dense 时用余弦
用 0.5「相似度」砍 RRF
精排
Query–Passage 交互重排
Rerank 分
初筛 topK 过小,精排无料可选
控篇幅
控噪声与上下文长度
累计 token
再叠「最多 N 条」把有效结果截半

对外排序分约定: 开了 Rerank → 用 Rerank 分;否则 → 初筛分(融合分或余弦)。

启用 Rerank 时,初筛必须放大候选(例:业务 topK=20 → 初筛 80)。阈值只对「当前阶段正在使用的分」有意义。

3. 总体架构:存储与召回如何分工

先看系统级架构,再进入 Hybrid 内部。


组件
职责
不该承担的
PostgreSQL
权威正文、metadata、运营过滤与对账
大规模 ANN
Milvus
dense + sparse;同 collection hybridSearch
业务级「先钉文档再补全库」策略
外部 RAG
差异化切分 / 存量库补充召回
成为第二套主混合栈

迁移注意: sparse 依赖分段正文。reindex 只拷 dense、省略 content,BM25 通路空转——这是线上「关键词全失效」的高频根因。

4. Hybrid 落地:真混合如何工作

4.1 三种形态

形态
特征
主要问题
Dense-only
同义强
编号 / 专名 / 低频硬词易漏
假混合
Lexical → Dense 串行
延迟叠加;前后级互相截断
真混合
两路并行 + rank fusion
必须理解融合分量纲

本文采用 真混合:同一 collection 维护 float vector 与 BM25 sparse field,一次 hybridSearch 完成双路召回与融合。

4.2 Hybrid 内部数据流

同一 Query 并行进入两条召回通路,再在库内做排名融合——这是「真混合」与串行假混合的分界。

通路
入口
检索
擅长
Dense
Embedding
ANN + 余弦
释义改写、近义表达
Sparse
Analyzer / 分词
ANN + BM25
编号、专名、高 IDF 术语
融合
—
RRF(默认)或 Weighted
合并两路相对序,输出候选列表

两路 并行互补,不是互为前置过滤。串行「先关键词再向量」会把词面弱、语义相关的结果提前杀掉。
每路 topK 可独立配置;默认 RRF,明确…

— 以上为试看内容(约 40%),开通会员后阅读全文 —