构建Data Agent:探讨企业应用中基于大模型的交互式数据分析及方案【中】
在「上篇」中,我们探讨了在企业应用中基于自然语言的交互式数据分析的业务驱动力与场景:作为现有数据分析类应用或商业BI工具的一个更简单、友好、且易于交互(特别是针对业务决策人员)的工具(Data-Agent),与现有应用形成有效互补。针对这样的场景,提出了当前基于大模型实现的三种基础方案设想:
今天我们一起来深入 Text2SQL 的方案,也可以称作 NL2SQL(自然语言转SQL,SQL又称作结构化查询语言,是数据库交互的一种标准化语言,几乎存在于所有以数据为中心的企业应用中)。
1
Text2SQL的基础实现
Text2SQL,简单的说,就是把你说的自然语言转化为数据库能够听懂的SQL,然后通过数据库的“语言”与它对话,获得数据查询或统计结果。
Text2SQL 并不是一个在大模型以后才出现的话题。早在大语言模型横空出世之前已经有大量专注于此的机器学习研究项目,只是随着大语言模型的出现,其强大的自然语言理解推理能力让 Text2SQL 得到大力的推进。
从图中可以看出,Text2SQL 的实现原理非常简单,其核心就在于如何把自然语言组装成 Prompt,并交给 LLM 转化成 SQL。我们不妨看一下 OpenAI 公司在官网给出的一个标准的 ChatGPT 做自然语言转 SQL 的例子:
System
/*系统指令*/
Given the following SQL tables, your job is to write queries given a user’s request.
/*数据库内表结构*/
CREATE TABLE Orders (
OrderID int,
CustomerID int,
OrderDate datetime,
OrderTime varchar(8),
PRIMARY KEY (OrderID)
);
...此处省略其他表...
/*问题*/
Write a SQL query which computes the average total order value for all orders on 2023-04-01.没错,看上去就是一个简单的“咒语”,就可以完成这个貌似复杂的工作。当然,在实际使用中,可能需要根据你所使用的大模型来做适当调整。但不管组织的形式如何,Text2SQL 的 Prompt 基本上就是几个部分组成:
指令(Instruction):比如,“你是一个 SQL 生成专家。请参考如下的表格结构,直接输出 SQL 语句,不要多余的解释。”
数据结构(Table Schema):类似于语言翻译中的“词汇表”。即需要使用的数据库表结构,由于大模型无法直接访问数据库,你需要把数据的结构组装进入 Prompt,这通常包括表名、列名、列的类型、列的含义、主外键信息。
用户问题(Questions):自然语言表达的问题,比如,“统计上个月的平均订单额”。
参考样例(Few-shot):这是一个可选项,当然也是提示工程的常见技巧。即指导大模型生成本次 SQL 的参考样例。
其他提示(Tips):其他你认为有必要的提示。比如要求生成的 SQL 中不允许出现的表达式,或者要求列名必须用“table.column"的形式等。
2
问题在哪里
实现一个 Text2SQL 的原型非常简单,但是在实际应用时它可能并不会像你期待的那样表现良好,因为它首先有一个关键的问题:当前 AI 模型输出 SQL 的准确性还远无法达到人类工程师的输出精度。深度学习的 AI 模型预测本身就有置信度的问题,无法确保绝对可靠性,这一点在大语言模型依然存在。当然,输出的不确定性也是目前限制大模型在关键企业系统应用最大的障碍。
除了模型自身的知识能力以外,还有一些客观原因:
* 自然语言表达本身的歧义性,而 SQL 是一种精确编程语言。因此在实际应用中,可能会出现无法理解,或者错误理解的情况。比如,“谁是这个月最厉害的销售”,那么AI是理解成订单数量最多,还是订单金额最大呢?
* 尽管你可以通过 Prompt 输入数据结构信息帮助 AI 模型来理解,但有时候AI 可能会由于缺乏外部行业知识导致错误。比如,“分析去年的整体客户流失率?”,那么如果 AI 缺乏对“客户流失率”的理解,自然就会出错或者编造。
Text2SQL的方案在企业应用中还会面临两个严重的挑战:
可能会出现正常运行的“假象”
即正常的完成了任务,但实际结果是错误的。由于 Text2SQL 是直接输出用于数据库访问的语句,理论上来说,只要不存在基本的语法错误,就可以执行成功,即使转换的 SQL 在语义上是错误的!这与 Text2API 的区别在于:API由于有很严格的结构化输入输出规范与校验,因此如果模型转换错误,很大概率会导致 API 调用的异常,使用者能够获得错误反馈(当然也存在“假象”的可能)。
比如这样一个问题,LLM 的两个输出都可以正常执行,但是第二个显然是错误的。而且这样的错误对于使用者来说,很可能是难以察觉的:
所以,这个问题其实来自于 Text2SQL 输出正确性的评估困难。这种 Text2SQL 输出语义准确性衡量的复杂性本质上来自于这样一个事实:判断AI输出的一段代码是否正确,要比判断一个选择题答案是否正确,或者一段字符串的相似度要复杂的多。
下面这个来自于 Text2SQL 模型的输出评估工具 TestSuiteEval 中的例子:
其中 Gold 代表正确答案,predicted1和2代表模型的两个输出,这里正确的是 predicted2,错误的是 predicted1,我们来看两种评估方法:
如果用 SQL 执行结果来判断:Predicted1 的结果和正确 SQL 的结果很可能一样,但实际上 Predicted1 的 SQL 是错误的。
如果直接对比输出的 SQL:由于 Predicted2 和正确的 SQL不完全一致,你可能判断它是错误的,但其实 Predicted2 的 SQL…