企业知识库混合检索:架构设计与工程实践
写在前面
做专业文档 RAG,瓶颈很少是「大模型不够强」,而是 Query 类型与召回信号不匹配。
搜错误码、接口名、条款编号 → 需要 词面(lexical) 命中 搜口语化问题、释义改写 → 需要 语义(semantic) 近邻
两路信号量纲不同。只用 dense,硬词易漏;只用关键词,语境易偏。FastGPT、RAGFlow 早已默认「向量 + 全文」;本文记录一套以 Milvus 2.5 同库 Hybrid(dense + Sparse-BM25 + RRF) 为主底座的落地设计:如何分层、如何读分。
边界: Hybrid 不解决切片错误、过期正文、权限过滤——那些是入库与治理问题。切片质量仍是检索上限。
1. 行业对照与设计约束
四条约束决定了后面的架构形状:
Lexical 必须生产级。 Milvus Built-in Sparse 后,仅为 Hybrid 再养一套 ES,成本通常不划算(已有 ES 基建除外)。 Rewrite 是可选阶段。 多轮指代有用;Query 已完整时关闭,少一次模型往返与改写漂移。 差异化放编排,不放第二套混合栈。 「指定文档优先 + 全库补召回」「token 控篇幅」比再造「先选书再找段」更可控。 外部 RAG 用 HTTP 补召回即可,不必复刻对方 ES 全栈。
对齐开源的是 Dense + BM25、RRF/Weighted、Rerank;自建差异落在范围优先 + 全库补召回、分库 token 预算、HTTP 外挂补充。
2. 端到端检索管道
Hybrid 只负责 Candidate Generation(初筛)。完整链路是漏斗,不是单分数系统。
对外排序分约定: 开了 Rerank → 用 Rerank 分;否则 → 初筛分(融合分或余弦)。
启用 Rerank 时,初筛必须放大候选(例:业务 topK=20 → 初筛 80)。阈值只对「当前阶段正在使用的分」有意义。
3. 总体架构:存储与召回如何分工
先看系统级架构,再进入 Hybrid 内部。
hybridSearch | ||
迁移注意: sparse 依赖分段正文。reindex 只拷 dense、省略 content,BM25 通路空转——这是线上「关键词全失效」的高频根因。
4. Hybrid 落地:真混合如何工作
4.1 三种形态
本文采用 真混合:同一 collection 维护 float vector 与 BM25 sparse field,一次 hybridSearch 完成双路召回与融合。
4.2 Hybrid 内部数据流
同一 Query 并行进入两条召回通路,再在库内做排名融合——这是「真混合」与串行假混合的分界。
两路 并行互补,不是互为前置过滤。串行「先关键词再向量」会把词面弱、语义相关的结果提前杀掉。
每路 topK 可独立配置;默认 RRF,明确…