前两篇聊的是思考,这篇来点干货——如何构建用来探测知识库缺口的小工具。文末有开源地址。
先一句话说清它干嘛:用问答当探针,批量灌一批测试题进去,把知识库答不出来的地方挑出来,生成一份"哪个场景缺、缺多少"的报告。
整条链路不复杂:文档清洗切片 → 建向量索引 → 检索 → 按阈值判定 → 出报告。但真正花心思、也真正决定它靠不靠谱的,有两个点。
· · · ✦ · · ·
一、最核心的设计:怎么判断"答不出来"
这是整个工具的灵魂,也是之前版本栽得最惨的地方。
最直觉的做法是:把测试题丢给问答系统,答出来算"有覆盖",答不出来算"缺口"。我早期就是这么干的,结果第一版报告给了我一个完美的 100% 完善度、零缺口——而事实是一多半题根本没答好。报告在骗我。
后来定位到问题,是判定逻辑里一个特别隐蔽的坑,值得每个做检索的人记住:
向量检索有个特性——不管库里有没有相关内容,它永远会返回最接近的 top-K 条。你问一个库里压根没有的东西,它照样给你凑几条"距离最近但其实是噪声"的结果回来。
而第一版我把"检索返回了 N 条"当成了"库里有内容",于是凡是答不出的都被解释成"内容明明有、模型没用好",真缺口那个桶永远是空的,完善度自然虚高成 100%。
所以这版立了一条铁律:判定只看相似度分数,绝不看返回了几条。
具体做法简化成了一个干净的二分:
每道测试题 → 向量检索 → 取最高相似度分数 ├─ 最高分 ≥ 阈值 → ✅ 有覆盖 └─ 最高分 < 阈值 → ❌ 真缺口
逻辑越简单越好维护,但这里有个绕不开的问题:阈值定多少?定高了漏报缺口,定低了误报。这个数绝对不能拍脑袋。
所以我专门做了个校准模式:准备一个小的"校准题集",每道题手动标注好"库里确实有(1)/确实没有(0)",让系统跑一遍,看这两组的相似度分数各自落在什么区间,自动算出一个能最干净地分开两组的分界点。
比如我这次跑出来,库里有的题分数在 0.61~0.7…