Text2SQL准确率暴涨22.6%!3大维度全拆
摘要
技术背景:Text2SQL 是将自然语言查询转为 SQL 的任务,经历了基于规则、神经网络、预训练语言模型、大语言模型四个阶段。当前面临提示优化、模型训练、推理时增强三大难题,研究基于 BIRD 数据集展开。
方法:提出 J-Schema 呈现数据库结构并合理提供示例值,结合思维链引导模型推理。采用 Iterative DPO 迭代训练,多轮迭代提升性能。用自洽性方法,通过硬 / 软投票从多个候选答案中选最优,软投票更优。
结果:解决 Text2SQL 性能提升的三大难题,将模型在 BIRD 数据集上的执行准确率从 56.6% 提升至 69.2%。
一、Text2SQL挑战
自然语言到 SQL(Text-to-SQL),也称为 NL2SQL,是将自然语言查询转换为可在关系数据库上执行的相应SQL查询的任务。具体来说,给定一个自然语言和一个关系数据库,Text-to-SQL 的目标是生成一个SQL,该SQL能够准确反映用户的意图,并在数据库上执行时返回适当的结果。通过将自然语言查询转换为结构化查询语言的能力,使复杂数据集更易于访问。它极大地促进了非专业用户和高级用户从大量数据存储中提取价值信息。
Text-to-SQL 解决方案的演进,经历了四个不同阶段:
1. 基于规则阶段:早期的Text2SQL方法主要依赖于基于规则的统计语言模型,主要聚焦于单表查询,理解能力仅限于词元阶段;
2. 基于神经网络阶段:神经网络模型(序列模型、图神经模型),提升了同义词处理和意图理解能力,使研究从单表扩展到多表场景。但其泛化能力仍受模型规模和训练数据量限制;
3. 预训练语言模型阶段:预训练语言模型(如BERT和T5)的引入显著提升了性能,极大增强了自然语言理解能力;
4. 大语言模型阶段:LLM凭借强大的涌现能力,成为当前Text2SQL领域的主流方案。研究重心转向优化提示工程和微调LLM。
Text2SQL性能的提升,面临着以下三个难题。
提示优化:怎么引导大模型给出明确的推理过程?数据库的Schema要怎么设计,才能让大模型更容易理解?
模型训练:如何通过训练方法提升模型的基础能力?
推理时增强:大模型生成答案时好时坏,有什么办法能让输出更加稳定可靠?
我们从这三个维度,分别给出了我们的答案。在本文中使用的数据集来自BIRD(BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation)。BIRD考察了大规模数据库内容对文本到 SQL 解析的影响。BIRD 包含超过12,751个独特的[问题-SQL]对,95 个大型数据库,还涵盖了超过 37 个专业领域,例如区块链、冰球、医疗保健和教育等。
二、Prompt & J-Schema
要让 LLM 理解数据库结构,需在提示中提供数据库模式。为此,我们提出一种名为 J-Schema 的新型数据库表达方式。J-Schema 以完全结构化的格式呈现数据、表与列之间的层次关系,并采用特殊标记进行识别:用 “#DB_ID” 标记数据库,“#Table” 表示表,“#Foreign keys” 表示外键。对于每个表,会给出表名;列信息则通过 “basic_info” 标识,其中包含列名、列描述、主键标识符,且为每个列提供示例值。
对于单一模型而言,在无法执行值检索的情况下,提供尽可能丰富的示例值有助于模型深化对列的理解。然而,示例值过多会受限于上下文长度。为平衡示例值数量与上下文长度之间的关系,我们为值建立了新的显示规则。
1.“DATE”、“TIME”、“DATETIME”、“TIMESTAMP”等表示时间的数据类型,只保留一个示例;
2.“REAL”浮点数据类型,保留两位小数一个示例;
3.针对“INTEGER”整型,保留一个示例;
4.针对“TEX…