AI赋能运营实战:指标扫描自动运营

 

背景

在AI浪潮下,LLM(大语言模型) 凭借其SQL解释能力,能够打通自然语言到SQL的壁垒,给 "智能查数" 这个之前无法触碰的场景,提供了无限想象的可能。能够看出,各大企业会尝试布局AI数据赋能,快速提高企业决策效率。

通用化NLP2SQL(“自然语言转 SQL”)似乎可以解决所有问题,依托强大的LLM,业务人员即可轻松获得准确的信息,在没有SQL基础条件下,快速发现数据问题。

实际上呢?

“智能查数”面对的问题,不只是LLM理解语言且翻译SQL这么简单。用户语言包含复杂的指标意图,也包含特定的公司内部术语,其所需要的结果有时是指标结果查询,有时需要LLM给出分析报告,问题就会变复杂了。

从技术侧视角,用户问一句话,需要经过意图识别,然后对涉及的表进行相关信息召回,通过LLM生成SQL后,转换到统一的数据服务进行结果获取,最后区分用户意图,判断原始结果返回或者结合其他领域背景进行二次报告加工。

这中间的挑战还是不小的。

这些问题的本质,是数据工程问题,而非单纯的AI问题。 员工在工作中遇到的数据“找不到”和“取不出”的问题,Agent 一样会遇到。

ChatBI行业思路

ChatBI(基于聊天界面的商业智能工具),主要支持用户通过自然语言与数据进行交互,从而轻松完成业务数据查询。


ChatBI行业已经有很多种方案,各路大神在如何做好AI查数,思考了很多办法。

1、NLP->x->SQL

自然语言生成SQL,行业内讨论最多的两种方案是“Text2SQL”和“Text2DSL”。

Text2SQL(Text-to-SQL)可以简单理解为,通过大模型将自然语言问题转换为结构化查询语言( SQL ) ,使数据库能够理解并返回数据查询结果。

缺点比较明显:

  • • 生成SQL的准确性与可执行性:生成准确且可执行的SQL查询是一项重大挑战,需要大模型深入理解SQL语法、数据库模式和特定方言,同时依赖于Prompt中对表名、表字段以及各个表之间关系的清晰描述。
  • • 特定业务的复杂查询:例如跨表或跨数据集查询。对于特定业务场景的数据分析可能涉及多表关联(JOIN),这要求模型具备强大的语义理解和逻辑推理能力。
  • • 性能问题:在企业级数据查询中,宽表可能包含上百个字段,输入Prompt和输出SQL语句的复杂度会影响大模型的响应时间。超过3秒的响应时间会严重影响用户体验,导致用户流失。

Text2DSL(Text-to-DSL)技术是将自然语言转换为领域特定语言(DSL)。“领域特定语言”听起来有点抽象,但可以理解为是一种更易于用户理解和使用的语言,例如在BI领域,它指的是从底层数据集中抽象出的指标、维度和过滤条件等报表配置化参数。

Text2DSL本质上是一个text to DSL to SQL的过程。简而言之,DSL是对于SQL的一层抽象,而SQL是对于数据输出的具体执行。

Text2DSL方案同样面临挑战:基于Text2DSL搭建的ChatBI需要依赖成熟的指标体系,而且查询的灵活性和扩展性受限于现有指标和维度,本质上是报表搭建参数智能检索召回后的自动化数据查询流程。

但相比于Text2SQL,Text2DSL更易于实现,并且在指标体系能够满足大多数用户需求的情况下,能提供更准确、时效性更强的结果。

NL2MQL2SQL(MQL:Metrics Query Language) 方案是近期出现的新概念。指标平台的NL2Semantic2SQL 路线通过语义层标准化沉淀指标逻辑,从根本上解决了口径冲突问题。指标平台通过预定义的“基础度量”作为核心,并结合可选的“业务限定”、“时间限定”以及“衍生方式”等要素来灵活组合定义指标,并在语义层中强制统一管理和发布。

数仓如何规范指标定义示意图如下:

2、知识库增强

NLP2SQL,是为了将自然语言,更好的转化为SQL,这离不开数据库 DDL 以及业务数据知识库的输入。通过向量数据库或者数据库表MCP server,可以很好的对NLP2SQL这一步进行信息补充。

知识库类型
内容示例
增强目标
结构化元数据知识库
数据库DDL(表结构、字段类型、主外键关系)、数据血缘、字段注释
解决“技术歧义”(如字段同名异义、计算逻辑)
业务语义知识库
指标定义(如“GMV=成交金额-退款”)、业务术语词典(如“活跃用户”定义)、维度层级(如“省-市-区”)
解决“业务歧义”(如用户口语化表达与术语差异)
上下文知识库
历史对话记录、用户权限范围、常用查询模式
解决“个性化需求”(如用户偏好、数据权限)

具体流程如下:

3、统一数据服务

在ChatBI场景下,统一数据查询引擎是连接NLP2SQL与异构数据源的“中枢神经系统” ,其核心价值在于屏蔽底层技术差异,提供一致的数据访问能力,让生成的SQL能自动适配多种数据源并高效执行。以下是深度解析:

异构数据源类型
传统方案痛点
统一引擎解决方案
关系型数据库
需手动适配不同SQL方言(MySQL vs PostgreSQL)
自动重写SQL方言(如将LIMIT转为FETCH FIRST)
OLAP引擎
需手动优化聚合语法(ClickHouse vs Doris)
智能转换聚合函数(如GROUP_CONCAT → array_agg)
NoSQL数据库
需自定义查询逻辑(MongoDB的Aggregation Pipeline)
将SQL翻译为原生查询语言(如SQL → MongoDB Pipeline)
API/REST数据源
需手工编写HTTP请求+解析JSON
自动生成REST API调用,解析返回结构
数据湖
需切换Spark/Presto等引擎

具体流程如下:

4、指标服务

指标体系可以规范公司指标口径及指标输出,统一公司指标数据,同时减少同一指标多次计算的重复场景,减少计算及存储资源的消耗,方便业务方自助分析及报表搭建,提升工作效率。

这…

— 以上为试看内容(约 40%),开通会员后阅读全文 —