FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2026-06-15

一个"知识库质检工具"

如何快速发现知识库的隐藏缺口?这个工具用问答当探针,一键生成精准的“缺漏报告”,核心在于其科学的判定逻辑与阈值校准。

核心内容:

  1. 如何科学判定知识库“答不出来”的核心设计
  2. 利用阈值校准模式确保检测结果可靠
  3. 从知识图谱探索到朴素向量检索的最终选择

前两篇聊的是思考,这篇来点干货——如何构建用来探测知识库缺口的小工具。文末有开源地址。

先一句话说清它干嘛:用问答当探针,批量灌一批测试题进去,把知识库答不出来的地方挑出来,生成一份"哪个场景缺、缺多少"的报告。

整条链路不复杂:文档清洗切片 → 建向量索引 → 检索 → 按阈值判定 → 出报告。但真正花心思、也真正决定它靠不靠谱的,有两个点。

· · · ✦ · · ·

一、最核心的设计:怎么判断"答不出来"

这是整个工具的灵魂,也是之前版本栽得最惨的地方。

最直觉的做法是:把测试题丢给问答系统,答出来算"有覆盖",答不出来算"缺口"。我早期就是这么干的,结果第一版报告给了我一个完美的 100% 完善度、零缺口——而事实是一多半题根本没答好。报告在骗我。

后来定位到问题,是判定逻辑里一个特别隐蔽的坑,值得每个做检索的人记住:

向量检索有个特性——不管库里有没有相关内容,它永远会返回最接近的 top-K 条。你问一个库里压根没有的东西,它照样给你凑几条"距离最近但其实是噪声"的结果回来。

而第一版我把"检索返回了 N 条"当成了"库里有内容",于是凡是答不出的都被解释成"内容明明有、模型没用好",真缺口那个桶永远是空的,完善度自然虚高成 100%。

所以这版立了一条铁律:判定只看相似度分数,绝不看返回了几条。

具体做法简化成了一个干净的二分:

每道测试题 → 向量检索 → 取最高相似度分数 ├─ 最高分 ≥ 阈值 → ✅ 有覆盖 └─ 最高分 < 阈值 → ❌ 真缺口

逻辑越简单越好维护,但这里有个绕不开的问题:阈值定多少?定高了漏报缺口,定低了误报。这个数绝对不能拍脑袋。

所以我专门做了个校准模式:准备一个小的"校准题集",每道题手动标注好"库里确实有(1)/确实没有(0)",让系统跑一遍,看这两组的相似度分数各自落在什么区间,自动算出一个能最干净地分开两组的分界点。

比如我这次跑出来,库里有的题分数在 0.61~0.7…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026061546730.html