KnowEval:RAG 工程化的最后一公里,让问答质量有据可依
KnowEval:RAG 工程化的最后一公里,让问答质量有据可依
前言
为什么需要 KnowEval?
在过去一年与众多企业客户的交流中,我们发现一个普遍的痛点:RAG 系统上线后,如何量化评估问答质量?如何系统化提升检索效果?如何在多个优化方案中选择最优解?
很多团队花费大量时间调试 RAG 系统,但往往凭感觉调参,缺乏数据支撑。A/B 测试需要人工逐条对比,效率低下。更关键的是,没有一套标准化的评测体系,就无法形成可持续优化的闭环。
基于此,我们推出了 KnowEval - 专为 RAG 系统打造的全链路评测平台,将评测这个"隐形能力"变成可视化、可量化、可优化的工程化能力。
新功能
KnowEval v1.0.0 正式发布,本版本推出以下核心能力:
1. 五维度评测体系
我们基于业界领先的 RAGAS 框架,构建了完整的 RAG 评测指标体系:
• 忠实度 (Faithfulness): 评估答案是否忠实于检索到的上下文,杜绝"幻觉" • 答案正确性 (Answer Correctness): 对比标准答案,量化回答准确度 • 上下文精确度 (Context Precision): 评估检索到的文档是否精准相关 • 上下文召回率 (Context Recall): 评估是否检索到所有必要信息 • 答案相关性 (Answer Relevancy): 评估答案是否切题,避免答非所问
2. AI 智能生成测试集
手动构建测试数据集费时费力,我们提供了 AI 自动生成测试集 功能:
• 基于知识库内容自动生成问题 • 智能提取标准答案和参考上下文 • 支持自定义生成数量和难度 • 一键导入,即时可用
3. 可视化评测报告
告别枯燥的数字表格,我们提供了直观的可视化报告:
• 多维度指标雷达图 • 得分分布趋势分析 • 单条问答详细诊断 • 导出 JSON 格式完整报告
4. 对接 KnowFlow,形成完整闭环
KnowEval 与 KnowFlow 深度集成,形成 "数据治理 → RAG 检索 → 质量评测 → 持续优化" 的完整闭环:
缺陷修复
作为首个正式版本,我们在内测阶段修复了大量问题:
1. 修复并发评测时的超时问题,优化为多 worker 并行 2. 修复 embeddings 模型配置加载失败的问题 3. 修复评测进度更新不实时的问题 4. 修复长文本评测导致的 token 超限问题
优化
1. 评测速度大幅提升:通过并行优化,10 个样本的评测时间从 8 分钟降低到 2-3 分钟 2. 支持多种 LLM 提供商:OpenAI、SiliconFlow、DeepSeek、智谱 AI 等 3. 完善的错误处理:评测失败时提供详细的错误诊断信息 4. 数据持久化:所有评测结果永久保存,支持历史对比
本版本同时提供了 Docker 一键部署方案,3 分钟即可完成部署。详情可参考官方文档。
产品细节
一、五维度评测体系:从主观判断到量化分析
传统的 RAG 评测依赖人工抽查,效率低且主观性强。KnowEval 基于 RAGAS 框架,提供了五大评测维度:
1. 忠实度 (Faithfulness)
评测目标:答案是否基于检索到的上下文,而非 LLM 的内部知识或"幻觉"。
技术实现:
• 将答案拆解为多个陈述句 (statements) • 逐条判断每个陈述是否能在上下文中找到依据 • 计算有依据的陈述占比
应用场景:金融、法律等对事实准确性要求极高的领域。
2. 答案正确性 (Answer Correctness)
评测目标:对比标准答案,综合评估语义相似度和事实准确性。
技术实现:
• F1 Score:通过 LLM 判断答案中的陈述是否与标准答案匹配 • Similarity Score:通过 Embeddings 计算语义相似度 • 加权平均得到最终得分
应用场景:有明确标准答案的场景,如产品 FAQ、操作手册等。
3. 上下文精确度 (Context Precision)
评测目标:检索到的文档片段是否与问题高度相关。
技术实现:
• 逐个判断检索到的上下文是否与问题相关 • 计算相关上下文的排序质量 (类似 NDCG) • 越相关的内容排名越靠前,得分越高
应用场景:优化检索算法,减少无关文档干扰。
4. 上下文召回率 (Context Recall)
评测目标:是否检索到回答问题所需的所有关键信息。
技术实现:
• 提取标准答案中的关键信息点 • 判断这些信息点是否都能在检索到的上下文中找到 • 计算覆盖率
应用场景:诊断检索遗漏问题,优化 Top-K 参数。
5. 答案相关性 (Answer Relevancy)
评测目标:答案是否切题,没有包含冗余或无关信息。
技术实现:
• 基于答案反向生成可能的问题 • 对比生成的问题与原问题的相似度 • 相似度越高,说明答案越切题
应用场景:优化 Prompt,避免答案啰嗦或跑题。
二、AI 智能生成测试集:从 0 到 1 的突破
手动构建测试数据集是 RAG 评测的最大瓶颈。KnowEval 提供了 AI 自动生成测试集 功能,彻底解决这一痛点。
工作流程
技术亮点
1. 智能问题生成:基于文档语义自动生成多样化问题
• 事实型:"KnowFlow 支持哪些切块方法?" • 推理型:"为什么 Title 切块适合论文场景?" • 对比型:"MinerU 和 Dots 有什么区别?"
2. 自动提取标准答案:从上下文中智能提取答案片段 3. 上下文关联:自动关联问题与相关文档片段 4. 批量生成:支持一次生成 10-100 个测试样本 • 10 分钟生成 50 个测试样本(人工构建需要 2-3 天) • 覆盖率达 85%(涵盖了大部分常见问题场景) • 准确率达 90%(仅需微调 5 个样本) • 知识库评测进度:75/100 • 总评测次数:7 次 • 活跃数据集:5 个 • 平均耗时:6.1 分钟 • 忠实度:84.4% • 答案正确性:67.9% • 上下文精确度:55.2% • 上下文召回率:100% • 答案相关性:43.8% • ✅ 上下文召回率满分 → 检索范围足够 • ⚠️ 上下文精确度偏低 → 检索到了一些无关文档 • ⚠️ 答案相关性偏低 → 答案可能包含冗余信息
实际案例
某金融科技公司使用 KnowFlow 构建了产品知识库,包含 500+ 篇文档。使用 KnowEval 的 AI 生成功能:
三、可视化评测报告:让数据说话
评测数据的价值在于洞察。KnowEval 提供了强大的可视化分析能力:
1. 评测仪表盘
核心指标一目了然:
五维度雷达图:
通过雷达图,可以直观发现:
优化建议:
1. 调整检索算法,提高精确度(如增加 rerank) 2. 优化 Prompt,让答案更简洁精准
2. 任务管理
• 实时进度追踪:当前任务 65% 完成 • 历史记录查询:查看过往评测结果 • 一键创建评测:选择数据集和指标即可开始
3. 详细报告
单条问答诊断:
• 问题原文 • RAG 系统回答 • 标准答案 • 检索到的上下文 • 各项指标详细得分 • 错误原因分析
导出功能:
• JSON 格式:用于程序化分析 • E…