日常见到的电商领域的智能客服、金融领域的投资顾问、法律行业的卷宗库、医疗领域的智慧问诊…这些产品的背后其实都是同一类系统:基于AI大模型的知识库问答系统。
在众多AI大模型应用场景中,知识库问答算是AI大模型应用比较成熟,广泛的场景之一。
但大模型与生俱来的”天性“:幻觉,带给实际应用场景中各种各样的上层问题,比如偏见、歧视等。所以如何评估这类系统就显得尤为重要。
阅读本篇,你将收获:
- 知识库问答系统的评估构建思路是什么?
- 如何设计知识库问答系统评估指标?
- 如何设计知识库问答系统评估方案?
- 知识库问答系统Badcase如何分析、归因、迭代?
- 如何搭建大模型系统线上运行监控看板?
一、评估体系构建思路
1.1 多维评测体系
一般来讲,搭建评测有这么几个目的,评估大模型的基本性能表现;评测系统在业务方面的实际表现;根据评测的结论,指导产品的优化与技术的迭代方向。
所以评估体系可以从业务、技术、安全三大方向进行构建。
业务类:用户直接根据系统的回答反馈,给到一手的主观反馈。
技术类:从专业的角度评估回答结果的准确、完整、简洁。
安全类:从安全或者稳定的角度测试(对抗型测试)系统在错误、边缘、复杂场景下的表现。
以下作者梳理出一个多维的评测体系:
| 分类 | 维度 | 指标类别 | 说明 |
|---|---|---|---|
| 技术 | 问答准确性 | Top-1准确率、EM (Exact Match)、F1、BLEU/ROUGE、AUC | 衡量回答是否正确或接近标准答案 |
| 技术 | 答案完整性 | 完整性评分、信息覆盖率 | 回答是否遗漏关键内容 |
| 技术 | 答案简洁性 | 冗余度评分、压缩率 | 是否有无用废话 |
| 技术 | 语义相关性 | Embedding相似度、余弦相似度 | 问题和答案在语义上的匹配程度 |
| 业务 | 用户体验 | 满意度评分、响应时延、问题解决率 | 来自用户真实反馈或模拟点击测试 |
| 安全 | 稳健性 | 模型在不同表达方式下的稳定表现 | 替换同义表达、拼写错误后的表现 |
1.2 常见关键指标解读
Top-1准确率:用于判断模型最自信的答案是否正确,依赖于人工判断(标注)。
BLEU(Bilingual Evaluation Understudy):是一种基于n-gram重合度的评估方法,就是将模型回答和标准答案进行逐词对比,计算n-gram值。一般会引入BP(Brevity penalty)防止回答内容过短。一般 BLEU > 0.6 视为“合理回答”。
ROUGE(Recall-Oriented Understudy for Gisting Evaluation):判断生成文本是否覆盖了参考答案中的关键信息,适用于摘要任务。一般 ROUGE-L > 0.7 视为“合理回答”。
Embedding 相似度:使用词向量表示文本的语义,然后用余弦相似度判断语义是否接近。
EM (Exact Match):完全匹配,是指回答和标准回答在词粒度上的匹配。
AUC(Area Under the Curve):是指ROC(Receiver Operating Characteristic)曲线下的面积,这个曲线横坐标是假阳性率,纵坐标是真阳率。AUC值越大,说明随机抽取一个正负样本,抽中正样本比负样本更大的概率。当值为0.5时,说明模型基本没作用,大于0.7时说明比较好。
响应时延:判断大模型给到用户的反馈时效,系统可自助记录。