智能问数Text2SQL卷准确率其实没意义,90%也没法用

卷到 90% 也没用,因为你不知道这一次是不是落到那剩下 10% 了

准确率这个指标,

从一开始就问错了方向

几乎所有 Text2SQL 产品都在卷准确率,隔三差五就有人宣布又提升了多少个百分点,从 70% 涨到 90% 甚至 95%,看起来一片繁荣。

但这只是一个“看起来很美”的指标。数字不是重点,逻辑才是:即便准确率达到 90%,用户怎么知道这一次有没有落在那 10% 里?

数据决策不是抽奖。一个语法正确、语义完全跑偏的 SQL,执行成功返回一个漂亮的结果,但根本不是用户想问的。这种错误,SQL 层面检查不出来,只有用到现实业务中才会发现错得离谱。

这是因为智能问数的用户是业务人员,不是 DBA。他们不懂 SQL,也看不懂 JSON、XML 或任何技术化的中间格式。不管后台技术多复杂,用户面对的就是一个黑箱,他只能输入问题,然后得到一个结果,中间过程完全不可见,也就无从验证对错。

无法验证的结果,再高的准确率也没有决策价值。

准确率不是“够不够高”的问题,

是“能不能确认”的问题

一个错配的逻辑:准确率从 80% 提到 90%,系统就更可用了。

实际上,从“不可用”到“可用”,跨越的不是 10 个百分点,而是一个质的变化:从“黑箱”变成“透明”。

80% 准确率的黑箱和 90% 准确率的黑箱,对用户来说没有本质区别。反正都看不懂中间过程,都不知道这一次对不对,只能赌这次运气好,落在了正确的那一边。

反过来,如果用户能在执行前发现并剔除错误,那 80% 的准确率就已经足够好用了,剩下的 20% 错误能被识别和拦截,用户只要说一声“这不对”,系统就重新来。准确率从 80% 到 90% 的意义,远不如“用户能不能发现那 10% 的错误”来得重要。

在严肃的经营决策场景里,没人敢于去赌。

这就是为什么 90% 的准确率也没用。不是 90% 不够高,是“不可确认”本身就不可接受。

正确的方向:

不是卷准确率,而是“可确认性”

问题的本质不是“能不能做对”,而是“做错了能不能被发现”。

破局方法:在查询执行之前,加一层用户能读懂的中间表示,让用户自己确认意图。

这层中间表示必须同时满足两个条件:

一、人类可读。用接近自然语言的形式,不用技术培训就能看懂。比如“2023 年北京发往青岛的订单金额汇总”,而不是 JSON、XML、自定义 DSL 或者 SQL。

二、机器可解析。有明确可用规则描述的结构,能确定性转换成 SQL,不依赖模型猜测。

就这么简单。验证方法也不复杂:随机拿几个真实业务问题,让用户看中间结果。能一眼确认“对,这就是我要问的”,方案就过了底线。看不懂,别的指标再漂亮也没用。

为什么大多数方案在卷准确率,而不是解决可确认性

不是不想,是做不到。

SQL 以及这些方案的中间层是机器导向的,用结构化的中间语法约束 LLM 的输出空间,减少幻觉。JSON 也好、自定义 MQL 也罢,有了约束,准确率确实提高了,但和 SQL 一样仍然是人看…

— 以上为试看内容(约 40%),开通会员后阅读全文 —