基于大模型的Text2SQL最佳实践
数据库schema
要让大模型能够写出SQL,前提肯定是让它先理解数据库的表结构是什么样子的。获取数据库表结构当然并不是什么难的事情,比如在Mysql中直接使用以下命令就能生成数据表的DDL语句:
SHOW CREATE TABLEuser
# 输出结果如下:
CREATE TABLE `sys_user` (
`id` varchar(255) NOT NULL COMMENT '用户id',
`account` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '登录名',
`nickname` varchar(255) DEFAULTNULL COMMENT '昵称',
`password` varchar(255) NOT NULL COMMENT '密码',
`phone` varchar(255) DEFAULTNULL COMMENT '手机号',
`email` varchar(255) DEFAULTNULL COMMENT '邮箱',
`rental_id` varchar(32) DEFAULT'' COMMENT '组织id',
PRIMARY KEY (`id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4DDL语句是表示数据库schema的基本形式,很多text2sql框架也是直接使用DDL sql喂给大模型的。比如Chat2db,它的提示词看起来非常简单:
请根据以下table properties和SQL input将自然语言转换成SQL查询.
MYSQL SQL tables, with their properties:
["CREATE TABLE `driven_distance` (\n `id` bigint(20) NOT NULL AUTO_INCREMENT,\n `organization_id` bigint(20) DEFAULT NULL,\n `vehicle_id` bigint(20) DEFAULT NULL,\n `license_plate` varchar(255) DEFAULT NULL,\n 。。。"]
SQL input: 2023年,每个季度的加油金额各是多少元?但这种表现形式其实存在一些缺陷:
1. 冗余干扰:DDL语句中包含了一些对于text2sql这个场景并没有用处的信息,比如字符集,表引擎等。 2. 方言差异:不同数据库的DDL语句也有较大的差异,比如数据类型,同样是字符串,有些是varchar,有些直接叫做string,有些又叫text,这些情况都不利于让大模型能够稳定的理解相关的表结构 3. 关系缺失:DDL语句中并没有包含表与表之间的关系信息(虽然也包含外键信息,但是由于数据管理和性能等方面的原因,外键现在相对比较少见了),常规的text2sql框架一般是通过语义检索,比较用户问题与表名之间的相似度,然后选取相关的数据表schema注入到提示词中,至于数据表之间的逻辑联系只能靠大模型自行去理解了,如果是简单查询,检索命中的表数量相关较少的情况下,效果还行。但是如果需要复杂的多跳关联,那么就非常考验大模型的能力了,输出的稳定性也会直线下降
针对这些问题,业界最新提出了一种叫做M-Schema的数据库结构表示方式,它以半结构化格式展示了数据库、表和列之间的层级关系:
这种表现形式完全按照LLM最容易理解的markdown格式来组织表结构,剔除了各种对于text2sql场景无效的信息,并加入两项关键的信息扩展:
• 表数据抽样: DDL语句只有某个列字段的数据类型,比如string,但是具体的数据格式却无从得知。如果是一些强模式的数据,比如user的account字段,数据格式其实是用户的手机号,如果大模型能够获取这种潜在的模式信息,对于其生成SQL的质量也是更加有保障的。而真实的业务数据抽样,恰恰能揭示很多…