大模型幻觉检测在 NL2SQL 任务的应用实践
导读 随着大语言模型(Large Language Models, LLMs)在自然语言到结构化查询语言(Natural Language to SQL, NL2SQL)任务中得到广泛应用,其在复杂语义理解和自动化数据分析方面展现出显著优势。然而,模型幻觉(hallucination)问题也愈发突出,表现为生成与输入语义不对应、对数据库架构或业务规则不敏感、以及输出不符合实际数据情况等错误信息,大大影响了系统的可靠性与用户体验。本文从幻觉现象的本质入手,系统梳理其定义、分类及成因;在此基础上,回顾当前无监督与有监督检测技术的研究进展;重点介绍基于 Token 置信度的主动采样检测(ASD)方法在 NL2SQL 场景中的设计思路与工程实现,并通过真实业务场景案例分析其在理想汽车销售数据查询中的应用效果。最后,对未来可解释性强化、轻量级实时检测和跨场景通用框架建设等方向进行前瞻探讨。
1. 什么是大模型幻觉
2. 为什么会出现幻觉
3. 幻觉检测的研究进展
4. 幻觉检测应用实践
5. 未来展望
分享嘉宾|卓孔圣 理想汽车 高级算法工程师
编辑整理|陈思永
内容校对|郭慧敏
出品社区|DataFun
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
01
什么是大模型幻觉
随着人工智能迈入大模型时代,预训练语言模型在文本生成、机器翻译、对话系统和结构化查询等多种场景中大显身手。尤其在 NL2SQL 领域,通过自然语言直接生成可执行的 SQL 查询语句,为智能BI分析和自助报表提供了便捷通道。然而,幻觉现象逐渐成为制约系统工业化部署的瓶颈:部分语句在逻辑上与数据库表结构不匹配、对时间窗口或业务维度理解错误,甚至完全虚构字段或函数,导致下游执行失败。
1. 通用大模型的幻觉
大模型幻觉指大模型在生成内容时,输出与输入无关、不符合事实或逻辑上不合理的虚假信息。其主要形式包括:
事实性幻觉(Factual Hallucination):事实不一致与捏造幻觉,即输出内容违背客观事实或业务规则,例如伪造名人名言、编造历史细节、虚构参考文献等;
忠实性幻觉(Faithfulness Hallucination):不遵循指令与不遵循上下文,即模型未能严格遵循输入指令或上下文约束,如忽视用户指定的过滤条件或分组维度。
根据模型的内在表现角度,可细分为:
自信幻觉(Confident Hallucination):模型在生成幻觉内容时 token 置信度高,即模型以高概率输出错误信息,令人更难发现潜在风险;
非自信幻觉(Uncertain Hallucination):模型在生成幻觉内容时 token 置信度低,即模型在低置信度阶段生成不确定内容,通过置信度分布可进行检测与过滤。
2. 微调后幻觉定义
微调的过程本质是通过训练数据与模型对话,对齐任务标准的过程。对于给定输入,模型输出不符合任务定义即为幻觉。具体任务如下:
在分类任务中,模型输出分类结果(预测类别)与预期类别不一致;
在信息提取任务中,模型提取的信息与输入中包含的信息不一致,即抽取实体或属性与原始文本信息不相符;
在 NL2SQL 任务中,模型生成的 SQL 无法得到输入问题要查的数据,即生成的 SQL 语句可能因语法、字段名或逻辑错误而无法执行,或执行结果与用户预期不符。
02
为什么会出现幻觉
1. NL2SQL 任务介绍
NL2SQL 任务的核心要素:指标、条件、分组维度。系统需将用户输入的自然语言表达精准转换为结构化查询语句,其核心流程包括意图识别、拒识判断、Prompt 拼接、SQL 生成。典型难点如下:
用户查询超出模型能力范围的指标:如查询模型尚未支持的指标;
用户查询能力范围内的指标,但问题中包含的条件和维度与指标存在冲突:查询语句中包含的指标不支持按照对应维度条件查询,;
用户问题不合理或表达不清:用户问题也可能是不合理的,或者表达不清存在歧义,无法生成正确的 SQL。
归纳出如下的流程简图:
意图识别:识别用户查询的指标
拒识判断:看指标是否支持,如果不支持,提示用户超出范围
Prompt 拼接:如果指标支持查询,拼接合理的 prompt
SQL 生成
2. NL2SQL 微调幻觉成因
微调后的模型不应该存在自信的幻觉,所以我们只关注微调后模型的非自信幻觉,即由不确定性导致的幻觉,可能导致不自信幻觉的原因有:
训练数据存在不一致或不均衡导致对某些知识训练不充分,模型推理过程中关于该知识的表达会导致幻觉,即微调训练集对业务场景覆盖不全,某些字段或操作未充分训练;
模型推理超出训练数据范围的问题时会导致幻觉;
模型推理错误或不合理问题时会导致幻觉
具体而言表现为:
分类任务幻觉:输入为理想 L9 的 NP;输出却为 TP。我们并没有 NP 的类别,因为大模型的泛化能力,所以大模型输出了最相似的 TP 类别。
信息提取任务幻觉:24 年,理想 L9 销量,按上海分组;输出却为:条件{年,车系},分组{城市}。模型根据自己的理解进行了衍生,但是这个衍生并不正确。
NL2SQL 任务:输入:24 年 7 月至今,理想 L9 的展定单,按季度分组;问题中展定单表达有歧义,导致模型把展定单理解成外展,最终导致 SQL 错误。
因此,工程实现中需针对以上机理制定多层次的检测与拦截策略。
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
03
幻觉检测的研究进展
1. 常见幻觉检测思路
基于外部知识的验证(自信幻觉):通过验证 SQL 查询数据是否正确(基于工程方法)
基于自洽性(Self-Consistency)的检测(非自信幻觉):通过多次生成验证一致性(基于采样方法)
基于概率或不确定性的方法(非自信幻觉):分析生成 token 的低概率或高不确定性(如熵值过高)(基于不确定性量化方法)
监督微调与对比学习(非自信幻觉):构建幻觉-非幻觉对比数据,训练分类器识别幻觉(基于模型方法)
2. 导致不确定的原因
模型对某个输入感到越不确定,其生成的输出在形式或内容上越可能是任意的或不一致的,这种不确定性可以帮助识别出可能导致幻觉现象的问题或情境。非自信幻觉导致的不确定性存在以下三种:
顺序的不确定性:LLM 可能在先生成时间条件还是先生成地域条件不确定。
形式上的不确定性:LLM 可能用不同的表达方式,但是不同的形式不会改变文本的基本含义。
内容的不确定性:LLM 生成不确定要生成什么内容。
3. 无监督检测方法—语义熵
语义熵是利用模型对于其产生的任意输出的不确定性来检测 LLM 中的幻觉现象。通过语义聚类解决顺序不确定性和形式不确定性问题,从而检测内容不确定性导致的幻觉。
语义熵的实现流程:1、采样多个答案;2、对多个答案根据语义相似度进行聚类;3、根据聚类后的类别分布计算熵值即为语义熵
核心优势在于无需访问模型内部参数,或改造模型推理流程,适用于闭源与开源模型,但需要提高的采样次数来保证统计稳定性,增加推理成本。
其适用场景是主要对响应时间要求不高的应用或基于闭源模型开发的应用。
4. 无监督方法-CCP(断言条件概率,Claim Conditioned Probability, CCP)
CCP 可以检测 LLM 输出中的幻觉,该方法适用…