从“写SQL”到“聊数据”:NL2SQL如何用自然语言解锁数据库?
阿里妹导读
本文系统性地阐述了自然语言转SQL(NL2SQL) 技术如何让非技术背景的业务分析师实现数据自助查询,从而提升数据驱动决策的效率与准确性。
一、引言
数据驱动决策一直在各行各业中至关重要,业务分析师常常面临繁重的数据查询任务。通过自然语言生成结构化查询语言(SQL)的技术,即NL2SQL,业务分析师不再需要掌握复杂的编程技能,便能够轻松访问和处理数据。这篇文章将探讨如何利用NL2SQL技术来自动化处理常见的数据查询任务。
想象一个典型的场景:一位业务分析师需要提供上个月销售额最高的前10个商品。如果用传统方法,首先分析师需要知道销售额相关的基础数据表是哪些,接着得确认销售额的具体口径定义,最后需要按照一定方式编写复杂的SQL查询得到结果。这不仅需要对SQL语言有深刻的理解,还要对指标的定义、业务数据来源非常熟悉。
如果将NL2SQL技术和日常数据分析结合。可以帮助业务分析师显著减少完成数据分析所需的时间,同时还可以借助NL2SQL纠正发现语法问题减少人为错误,甚至即使没有技术背景的用户也能通过自然语言简单地进行复杂的数据查询,提高运营自助分析查询的效率。
二、技术背景与发展历程
2.1 问题定义
NL2SQL是"Natural Language to SQL"的缩写,指的是将自然语言查询转化为SQL查询语句的技术。它主要用于将用户以自然语言提出的问题自动转换成能够被数据库系统理解并执行的SQL查询,从而实现从数据库中检索相关信息的目的。
什么是NL2SQL
问题拆解
语义理解
自然语言通常具有很高的复杂性和多义性。语义理解要求系统能够准确地捕捉用户查询的意图,并处理自然语言中的模糊和歧义。这包括理解自然语言中的上下文、处理指代、识别关键实体和关系,以及解析复杂的句子结构。
Schema映射
Schema映射涉及将自然语言查询映射到数据库模式中的具体表和列。数据库的模式通常非常结构化,而自然语言查询可能没那么直接地指明这些结构。例如,一个查询可能使用同义词或间接提及而不是明示的列名或表名。系统需要具备将自然语言中提到的概念正确映射到数据库结构上的能力。
SQL生成
SQL生成是将处理过的自然语言意图和映射到数据库元素的信息转换为合法的SQL查询的过程。生成的SQL不仅需要语法正确,而且在语义上准确地代表原始的用户需求。挑战在于生成的SQL需要处理不同的查询形式和复杂度,包括聚合、嵌套查询、连接等功能。此外,生成的SQL必须满足高性能、合规性和安全性问题。
核心挑战
语法正确
数据库架构本身的复杂性和庞大体量的数据对NL2SQL构成了明显的挑战,比如数据库语法的多元性、表之间的关系复杂性、列名的相似性、以及大数据量的不完整性。
语义正确
自然语言可能因歧义和不明确性而含有不确定性,例如词义歧义、句法歧义、信息不足和用户错误。与此同时,当实际应用到业务场景时,不同团队对同一术语的定义也可能不同。比如“成交”可能意味着产生订单,也可能意味着必须支付。
效果稳定
NL2SQL与编程语言不同,因为输入的NL和输出的SQL查询之间通常存在一对多的映射。即使是完全一样的问题,也可能输出各种不同的SQL结果。
2.2 发展历史
基于规则的方法
早期研究主要集中在使用预定义规则或语义解析器来理解自然语言查询并将其转换为SQL查询。
基于神经网络的方法
为了解决基于规则的方法的局限性,研究者开始利用神经网络来解决NL2SQL,例如使用序列到序列模型或图神经网络。
基于预训练语言模型的方法
随着BERT和T5等预训练语言模型的出现,基于PLM的NL2SQL方法在多个基准数据集上取得了显著的性能提升。
大型语言模型时代
随着LLMs的出现,NL2SQL技术取得了显著进展,LLMs具有卓越的语言理解和新出现的能力,例如使用提示来执行NL2SQL任务。
三、关键技术挑战与解决方案
3.1 Schema Linking(模式链接)
Schema Linking旨在理解自然语言查询与数据库模式(schema)之间的语义关系,以帮助生成准确的SQL查询。
自然语言问题 → 表选择器 → 相关表集合 → 列选择器 → 最终SQL
检索模块
用户提问—>含有小样本的命名实体识别prompt+LLM—>得到关键词和实体—>根据关键词的语义相似性匹配top k列 | 基于局部敏感哈希 (LSH) 和语义相似性的两阶段检索策略检索值—>得到最终列和值
表选择器
表选择器的作用是识别哪些表与查询最相关,并需要在SQL查询中用到。
表选择器通常通过以下几步实现:
1.自然语言理解:分析用户的查询,提取关键实体和操作动词。
2.Schema 分析:了解数据库模式中有哪些表、字段以及它们之间的关系。
3.语义匹配:将用户查询的关键部分与数据库的表和字段进行匹配,以识别相关的表。
4.表优先级排序:根据相关性对表进行排序,优先选择最相关的表参与SQL构建。
列选择器
含有小样本的prompt+LLM—>仅选择与用户提问最相关的最少列
3.2 复杂查询理解
Chain-of-thought(CoT)
思维链(CoT)与大型语言模型(LLM)相结合,能在复杂的推理任务上取得了不错的结果。
Divide and Conquer CoT(分而治之CoT):让模型把查询任务拆解成更细粒度的任务,然后用SQL伪代码写出对这些子任务的查询,最终将结果合成一个完整的SQL。直接写SQL效果不好是因为模型可能没有见过这样的数据分布,但是它肯定见过简单任务的数据分布,在SQL子语句都写出来了的前提下,SQL的组合就显得没那么复杂了。
Query Plan CoT(查询/执行计划CoT):让模型先把SQL的执行计划描述出来,再通过执行计划来生成SQL。这么做可以让模型换个角度思考问题,将数据分布切换到了另外一个领域,能让模型更多地关注具体要用的表、列,能补足“分而治之”方法对细节把控不足的缺点。
3.3 提示词工程
在利用LLM完成NL2SQL任务时,提示工程的关键在于将自然语言问题与必要的数据库信息转化为适用于LLM的自然语言序列输入,即问题表示。同时,当允许输入一些样例以利用LLM的in-context learning能力时,还需要考虑如何选择样例以及如何将这些样例有机地组织到输入序列中。
基本提示
基本提示(Basic Prompt)是一种简单的Prompt模板,它由表模式、以 Q: 为前缀的自然语言问题、以及提示LLM生成SQL的响应前缀 A:SELECT 组成。之所以命名为基本提示,是因为它并未包含任何指令内容。
文本表示提示
文本表示法提示(Text Representation Prompt)相比于基本提示,在提示的开头添加了指导LLM的指令。
OpenAI范式提示
OpenAI…