信任需要基础设施:如何让AI可靠的取数
从数据的角度,去看这个世界,获取到自己想要的信息
业务每天都会产生大量的用户行为数据,这些数据都经由数据工程师的加工处理放在数据仓库中,有了这些数据可以让我们的业务决策变得更加合理,科学。但是这些数据已经在数仓了,但是业务一般情况下还是要等较长的时间才能看到想看的数据,为啥取个数这么难呢?
代号:物理事实的抽象代表
代号:物理事实的抽象代表
在语言学上,我们为了交流的方便,都会为一些复杂的东西,起一些代号,这些代号是物理事实的抽象代表,代号在我们的生活中处处可见,比如各种名称:人名、地名、物名等等。
在本文中取数语境中的核心代号都代表什么的含义。先看下两个核心抽象的代号:指标是什么:业务主体行为的度量;维度是什么:业务主体行为发生的环境。指标名、维度名是具体的代号。比如"用户在直播平台成交了多少钱"这个业务度量的代号是"成交金额","用户从哪种方式进入直播的这个行为环境"是"渠道名称"这个代号,这些代号就代表的是具体业务,都是具体的、真实的事件行为。很多约定俗称的代号,不用沟通解释大家都能对齐,但是一些专业的代号,或者一些事件行为,没有一些标准的代号名称,我们如果用这些各自理解的代号去沟通,去交流,那我们很难去沟通交流
真实场景
真实场景
1)比如现在用户需要一个成交金额,数仓中刚好只有一个成交金额,我们就默认这个就是用户想要的那个成交金额,直接找到成交金额的这张表,基于这个表来组装出来SQL然后去执行,SQL执行返回结果
2)现在问题复杂了,用户说我要gmv,但是数仓中只有成交金额,我们就要去问,我们只有成交金额,你要的是不是成交金额,我们来说明下成交金额描述的事实行为,用户说下他想要的事实行为,达成一致,找到成交金额的这张表,基于这个表来组装出来SQL然后去执行,SQL执行返回结果
3)接着,用户说我要gmv,但是数仓中有两个成交金额的指标,但是计算方式不一样(一个限制了 字段A= 'Y',一个没限制),又要去问,你想要的成交金额是怎么计算的,这两个指标的代表的事实行为是啥(数据口径是啥),是不是你想要的计算方式,好的,用户明确了我要限制字段A='Y'的,好的找到字段A = 'Y' 的那个指标口径,写出一段SQL,SQL执行返回结果
流程抽象
流程抽象
其中的核心流程是:用户说他要什么(一个代号),这个代号代表一个业务行为的度量方式。数仓有什么(一堆代号),这些代号都分别代表的业务行为的度量方式,其中还有很多不同的度量方式,用着同一个代号。有时候用户说的代号和数仓中的代号是对齐的,但绝大多数是对不齐的,代号对齐了,还要明确代号所代表的具体的事实行为是不是对齐了。这部分对齐是取数的第一步,明确清楚业务想要的是哪个具体代号。第二步,写一个SQL,将这个代号的数据取出来
取数流程中有一个最核心的矛盾点:同一个东西的代号没有标准、没有达成共识
现在是要AI来完成这一流程:用户说出他想要的代号,AI进行语义理解,理解了用户想要什么。AI理解数仓,数仓中都有什么代号,并且理解清楚每个代号的具体含义。理解清楚之后将用户需求的代号和数仓中的一个代号匹配起来了,然后写一条SQL 返回给用户。在小批量表并且取数需求相对简单的场景下,AI的发散空间相对较小,单独使用AI完成这一流程,可信度还是比较高。但是在复杂的场景下,AI在完成这一流程的过程中就会遇到很多问题,首先AI理解用户语义,这个是AI理解自然语言的能力,模型本身的能力,这个强弱我们无法控制。但是接下来AI要理解数仓中的事实行为代号,理解完要写SQL,就会出现较大的问题
理解数仓很难避免幻觉
理解数仓很难避免幻觉
数仓是业务的数据抽象,业务的不断发展变化,业务的看数视角是不断变化的,决定了数仓是不断变化的,这些变化体现在数仓中就是:数据的事实行为描述越来越多、数仓不断的冗余、数仓表的不断膨胀,复杂性极大,具体到业务需求不知道应该用哪一种计算方式,只能不断的去确认沟通,这样的数仓复杂性,多义性让AI理解的话,幻觉极大,很难正确理解数仓中事实行为代号(数据口径)的现状
写出SQL更难避免幻觉
写出SQL更难避免幻觉
基于第一层理解数仓数据口径的基础上,叠加真实的取数需求,进入第二个问题:AI怎么写SQL。数仓是冗余的,同一个指标代号的计算方式是多样的,决定了取数SQL会涉及到很多的选择决策,比如指标计算口径确定、表选择,维度计算口径、表选择、数据筛选等等。这一步需要在第一步的基础上,再理解需求,进行很多的SQL决策,才能写出来一个语法正确、语义正确的SQL
AI 可以生成语法完美但语义错误的 SQL ,通过各种手段可以在很大的程度上做到70%,80%,甚至90%的正确率。这些正确率,听起来是好的,在评测的领域中就很好的成绩,但是在生产环境中呢,也就是意味着永远有错的可能,而用户是不知道这一次是对的,还是错的
此外,取数系统能发挥出最大的价值的点在于:这套系统的用户不是数据开发,而是运营、产…