以往,数据分析师日常工作50%左右的时间在构思&编写SQL,业界有调侃"SQL Boy"。而在编写SQL中,又有相当一部分时间在进行指标维度拆解,指标下钻。作为资深表哥表姐中的一枚,在编写SQL方面,我已历经两代:SQL 的第一代:全手搓SQL,有部分同学可能会将一些使用比较频繁的代码给收藏起来,以便后续Ctrl C+V。在数仓设计层面,则会将一些高频使用的数据落地中间表,牺牲存储搭建宽表(维度冗余)以提升作业编写效率,减少计算消耗。SQL 的第二代:AI智能补全,当我首次接触到这个,不禁深深感叹AI的魅力,它会根据我编写的内容自动推测我下一步要编写什么。因为AI有对元数据训练,它能帮你补全字段名(可以提供下拉列表),能智能补全字段分箱逻辑,如果你写的是一个json提取函数,当你输入函数和字段名时,它能推测补全key及字段命名。在去年年底,因为分析主要为业务经营分析,经营分析诸如异常定位又以维度下钻居多。那会我在构思完善标准化维度宽表,编写python模块,分析师输入参数,程序自动编写SQL。(核心业务场景,大多逻辑是固定的)还没等我坚挺过来(跑路了),已经是25年。随着DeepSeek横空出世,国内AI产业进入快速发展期,各大厂商竞相发力。我想,SQL 的第三代马上就要普及:数据分析师不再频繁手搓SQL,更多的是面向AI分析。数分师输入提示词,AI自动编写SQL拉取数据分析。AI生成SQL可用性极大程度上依赖于元数据质量,业务规则信息。对于应用团队则需对业务规则有统一认识,比如"活跃用户数"指标定义。当面对集团级数千甚至数万张表时,由于元数据缺失、定义不明确以及历史SQL采集存在各种问题,AI生成SQL的异常率可能较高。然而,针对单个部门或小规模团队,在确保数据质量并完善AI知识库的情况下,AI生成SQL的成功率相当可观,至少能显著减少数据分析师编写SQL的时间消耗。
如下为个人基于第三方AI平台构造SQL生成智能体实践,平台选用的是腾讯的元器(大家可按需选择平台入口:https://yuanqi.tencent.com/)
平台知识库允许上传word、txt、pdf等多种文件类型,免费版可上传文件数达100个,同时允许用户填写知识库说明,以便模型更好地理解调用我们上传的知识库。
智能体创建好后可以分享给其他人使用,支持api调用:
python api调用过demo:
import requeststoken = 'xxxxxx' # 平台生成的tokenurl = 'https://yuanqi.tencent.com/openapi/v1/Agent/chat/completions'headers = { 'X-Source': 'openapi', 'Content-Type': 'application/json', 'Authorization': f'Bearer {token}' # <token>替换为实际token,}data = { "assistant_id": "jC4nUeCKE6jK", "user_id": "<userid>", # 替换为实际userid,这个用户id可不填 "stream": False, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "你会做什么" } ] } ]}response = requests.post(url, headers=headers, json=data)result = response.json()reply = result['choices'][0]['message']['content']print(reply)
``如下为智能体创建步骤:1. 首页左侧点击 创建智能体,选择 对话式智能体
- 基础设定 选项卡依次填写智能体名称、简介以及预设提示词等信息。
我这里的提示词是:
你是一名SQL专家,熟悉大数据诸如Hive、SparkSQL、Trino以及关系型数据库MySQL、Oracel等计算引擎。在编写SQL时你会充分考虑如下几点:1. SQL简洁可用2. SQL运行性能3. SQL代码可读性4. SQL优化提示5. 生成SQL代码复核请基于如下要求,编写一段SQL:
- 高级设定 选项卡选择模型及上传自己的知识库。其他功能按需选择,然后点击页面右上角的发布按钮即可。(模型推荐选择deepseek r1)
这里重点对知识库文件上传做下说明就数仓规范设计, 库表、字段(词根)、码值,同样的内容尽可能的保持一致,比如用户id统一以user_id命名。知识库上传哪些内容(同字段存在不同命名的,可以上传命名说明文件):
表元数据信息-上传字段设计(我这里上传了3个表:订单表、商品维表、用户标签表):
字段元数据信息-上传字段设计(包含了主键表示、字段枚举值及码值映射):
业务规则 - 上传字段设计(这里仅是示例):
历史采集SQL - 上传内容设计(这里仅是示例):
下面是应用,输入需求:
统计各个年龄段的如下三个指标:订单金额、订单数、用户数﹣筛选条件:1.用户学历:本科;2.用户性别:女性3.订单商品一级分类:A4.订单时间:2025年5月5. 订单状态:成功﹣年龄段分层如下:1.18岁及以下,命名为"<=18"2.19-22,字段值为"19-22"3.23-25,字段值为"23-25"4.26岁及以上,字段值为">=26"
模型返回如下:
-- 统计各年龄段订单金额、订单数、用户数-- 筛选条件:用户学历本科、女性、商品一级分类A、2025年5月订单、订单状态成功SELECT age_group, SUM(amount) AS total_amount, -- 订单金额总和 COUNT(order_no) AS order_count, -- 订单数(基于唯一订单号) COUNT(DISTINCT user_id) AS user_count -- 用户数(去重用户ID)FROM ( SELECT o.order_no, o.amount, o.user_id, u.age, -- 年龄段分层逻辑 CASE WHEN u.age <= 18 THEN '<=18' WHEN u.age BETWEEN 19 AND 22 THEN '19-22' WHEN u.age BETWEEN 23 AND 25 THEN '23-25' ELSE '>=26' END AS age_group FROM db.order_info o JOIN db.dim_goods g ON o.goods_id = g.goods_id -- 连接商品维度表 JOIN db.user_tag u ON o.user_id = u.user_id AND o.dt = u.dt -- 连接用户标签表,基于用户ID和日期分区 WHERE u.education_level = 3 -- 筛选学历本科(枚举值3) AND u.gender = 2 -- 筛选女性(枚举值2) AND g.PRIMARY_CATEGORY = 'A' -- 筛选商品一级分类A AND o.dt BETWEEN '2025-05-01' AND '2025-05-31' -- 筛选2025年5月订单 AND o.status = 2 -- 筛选订单状态成功(已支付,枚举值2)) AS subqueryGROUP BY age_groupORDER BY age_group; -- 按年龄段排序,便于阅读
Text2SQL准确率暴涨22.6%!3大维度全拆
推荐语
Text2SQL技术取得重大突破,执行准确率提升22.6%,三大难题迎刃而解!
核心内容:
- Text2SQL技术演进历程与当前面临的三大挑战
- 创新方法:J-Schema设计、Iterative DPO训练与自洽性投票机制
- 在BIRD数据集上实现69.2%执行准确率的突破性成果
正文
摘要
技术背景:Text2SQL 是将自然语言查询转为 SQL 的任务,经历了基于规则、神经网络、预训练语言模型、大语言模型四个阶段。当前面临提示优化、模型训练、推理时增强三大难题,研究基于 BIRD 数据集展开。
方法:提出 J-Schema 呈现数据库结构并合理提供示例值,结合思维链引导模型推理。采用 Iterative DPO 迭代训练,多轮迭代提升性能。用自洽性方法,通过硬 / 软投票从多个候选答案中选最优,软投票更优。
结果:解决 Text2SQL 性能提升的三大难题,将模型在 BIRD 数据集上的执行准确率从 56.6% 提升至 69.2%。
一、Text2SQL挑战
自然语言到 SQL(Text-to-SQL),也称为 NL2SQL,是将自然语言查询转换为可在关系数据库上执行的相应SQL查询的任务。具体来说,给定一个自然语言和一个关系数据库,Text-to-SQL 的目标是生成一个SQL,该SQL能够准确反映用户的意图,并在数据库上执行时返回适当的结果。通过将自然语言查询转换为结构化查询语言的能力,使复杂数据集更易于访问。它极大地促进了非专业用户和高级用户从大量数据存储中提取价值信息。
Text-to-SQL 解决方案的演进,经历了四个不同阶段:
1. 基于规则阶段:早期的Text2SQL方法主要依赖于基于规则的统计语言模型,主要聚焦于单表查询,理解能力仅限于词元阶段;
2. 基于神经网络阶段:神经网络模型(序列模型、图神经模型),提升了同义词处理和意图理解能力,使研究从单表扩展到多表场景。但其泛化能力仍受模型规模和训练数据量限制;
3. 预训练语言模型阶段:预训练语言模型(如BERT和T5)的引入显著提升了性能,极大增强了自然语言理解能力;
4. 大语言模型阶段:LLM凭借强大的涌现能力,成为当前Text2SQL领域的主流方案。研究重心转向优化提示工程和微调LLM。
Text2SQL性能的提升,面临着以下三个难题。
提示优化:怎么引导大模型给出明确的推理过程?数据库的Schema要怎么设计,才能让大模型更容易理解?
模型训练:如何通过训练方法提升模型的基础能力?
推理时增强:大模型生成答案时好时坏,有什么办法能让输出更加稳定可靠?
我们从这三个维度,分别给出了我们的答案。在本文中使用的数据集来自BIRD(BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation)。BIRD考察了大规模数据库内容对文本到 SQL 解析的影响。BIRD 包含超过12,751个独特的[问题-SQL]对,95 个大型数据库,还涵盖了超过 37 个专业领域,例如区块链、冰球、医疗保健和教育等。
二、Prompt & J-Schema
要让 LLM 理解数据库结构,需在提示中提供数据库模式。为此,我们提出一种名为 J-Schema 的新型数据库表达方式。J-Schema 以完全结构化的格式呈现数据、表与列之间的层次关系,并采用特殊标记进行识别:用 “#DB_ID” 标记数据库,“#Table” 表示表,“#Foreign keys” 表示外键。对于每个表,会给出表名;列信息则通过 “basic_info” 标识,其中包含列名、列描述、主键标识符,且为每个列提供示例值。
对于单一模型而言,在无法执行值检索的情况下,提供尽可能丰富的示例值有助于模型深化对列的理解。然而,示例值过多会受限于上下文长度。为平衡示例值数量与上下文长度之间的关系,我们为值建立了新的显示规则。
1.“DATE”、“TIME”、“DATETIME”、“TIMESTAMP”等表示时间的数据类型,只保留一个示例;
2.“REAL”浮点数据类型,保留两位小数一个示例;
3.针对“INTEGER”整型,保留一个示例;
4.针对“TEXT”文本类型,根据分词长度保留。小于10 token保留多个示例。
在这套规则背后,包含了我们对大量错误样本的分析。对于日期、浮点数、整数这些数据类型,大模型往往是根据问题中的日期、时间要求来取值,因此增加这些数据类型的示例对最终的结果影响不大。而针对文本数据类型,往往涉及到用户查询和数据库中值格式不统一问题。例如问题询问的关键字是大写的“North Bohemia”,而数据库中的值为小写的“north Bohemia”,若给出的示例中包含“north Bohemia”,则可以正确检索。实验验证J-Schema在多个模型上均有执行准确率较大提升。
思维链(Chain of Thought, CoT)是一种提升大语言模型复杂推理能力的提示工程技术,核心是引导模型在输出最终答案前,先生成连贯的中间推理步骤,模拟人类逐步思考的过程。在我们的提示中首先给出完整的数据库信息,然后添加用户查询和外部知识,并给出引导大模型分步进行推理的提示,将推理过程输出在
三、训练方法
Iterative DPO
偏好优化已被证明,在将预训练语言模型与人类需求对齐时,相较于单独的监督微调能带来巨大的收益。DPO等离线方法因其简单性和效率而越来越受欢迎。最近的研究结果表明,迭代应用这种离线流程是有益的,其中更新后的模型被用来构建更具有信息量的新偏好关系,从而进一步改善结果。为了提高模型的基础能力,我们采用迭代式的DPO训练方法。
具体而言,在每次迭代中,我们从训练提示中采样多个思维链推理步骤和最终答案,通过验证最终答案,构建正例池和负例池,在正、负例池根据距离挑选来构建偏好对,然后进行DPO训练。在训练新模型后,我们通过生成新偏好对并重新训练来迭代该过程。我们发现推理性能在多次迭代后逐渐提高,最终达到饱和。
每一轮迭代中Text2SQL准确率提升如下表所示。在第三轮迭代中执行准确率达到最高,并饱和,继续迭代执行准确率下降。并且随着迭代轮次的增加,思维链的长度也在不断增加。
| 模型 | 平均CoT token长度 | 执行准确率EX |
|---|---|---|
| Qwen2.5-Coder-32B | 334 | 63.69% |
| iterative stage1 | 377 | 65.78% |
| iterative stage2 | 377 | 67.08% |
| iterative stage3 | 380 | 67.60% |
| iterative stage4 | 384 | 67.40% |
超参数扫描
我们通过DPO方法进行训练, beta是DPO Loss中的权重系数,数值越小越忽略参考模型,通常取0.1~0.5。因为我们观察到DPO对齐算法对这一参数特别敏感。我们设置了beta从0.1、0.2 、...、0.6变化。所有实验均训练两个 epoch。每次运行时,其他超参数保持不变,包括随机种子。不同beta值对应的执行准确率如下图所示。当beta取0.5时,达到最高的执行准确率,后续的DPO迭代中我们都延续使用该beta值。
四、自洽性(Self-consistency)
自一致性的核心思想是:让模型对同一问题生成多个候选答案,然后通过投票机制选择最优解,而不是只依赖单次生成结果。在单训练模型赛道自洽性是被允许的,因为它反映了模型自身的性能。
在实现自洽性的过程中,我们使用了硬投票和软投票两种方式。硬投票直接根据模型生成结果的最终表现(如执行结果是否正确,二元判断)进行投票,不考虑结果之间的相似程度。软投票的决策依据是根据结果之间的相似程度(连续值)。如下图所示。
在某些场景下,硬投票可能过于严格:
•语义等价但结果有细微差异:例如 SQL 查询结果的顺序不同,但逻辑上是等价的。
•近似正确的结果:例如模型生成了一个接近正确答案的解,但存在小误差。软投票通过相似度计算,可以将这些 “近似正确” 的结果纳入考虑,从而提高最终答案的可靠性。
不同的checkpoint模型使用自洽性均获得了1%以上的执行准确率提升,其中软投票方法要优于硬投票方法。
| 模型 | 无自洽性 | 硬投票 | 软投票 |
|---|---|---|---|
| iterative stage3 | 67.60% | 67.93% | 68.97% |
| iterative stage4 | 67.40% | 67.40% | 68.45% |
五、未来探索
1.数据构造
SynSQL-2.5M是百万规模的文本到 SQL 数据集,包含超过250万份多样且高质量的数据样本,涵盖来自不同领域的 16000 多个数据库。如何从250万份样本中筛选出对于BIRD有益的数据将会是未来的重点尝试方向。
2. 其他训练方法
•GRPO通过组内相对奖励来优化策略模型,在Text2SQL任务中,只需要定义奖励函数(例如执行正确奖励为1,执行错误奖励为0),而不需要预先构建偏好数据对。9N LLM的新镜像中提供了提交GRPO的训练任务可作尝试。在目前的尝试中,GRPO的训练时长主要受到reward验证的影响,采样n次时,每一个SQL样本都需要连接数据库执行验证来获取奖励。为了缩短训练时间,可以事先删除执行时长过长的样本。
•在BIRD训练集中,针对多轮DPO后的模型,进行多次采样时,仍然全错的样本,经过检查有很大部分是自身标签错误,使用LLM-as-Judge训练方法,使模型能够具备判断正负样本的能力,并且进一步删除标签错误的样本,保留正确样本。
3. 增加测试该优化方法的数据集和真实场景
用多个测试数据集有助于鲁棒性,能够更加全面的检验模型的性能。其中知名的数据集还有SPIDER、ScienceBenchmark、EHRSQL等。我们将在这些测试集验证我们的优化方案。并且我们会逐步推广到DataAgent的真实应用中。对于企业级的大型数据库来说,还会有哪些新的挑战?我们会持续关注,不断探索和改进!
大模型幻觉检测在 NL2SQL 任务的应用实践
推荐语
大模型在NL2SQL任务中表现惊艳,但幻觉问题如何破解?理想汽车高级算法工程师带来实战解决方案。
核心内容:
- 大模型幻觉的定义与分类解析
- 基于Token置信度的主动采样检测技术
- 在汽车销售数据查询中的实际应用案例
正文
导读 随着大语言模型(Large Language Models, LLMs)在自然语言到结构化查询语言(Natural Language to SQL, NL2SQL)任务中得到广泛应用,其在复杂语义理解和自动化数据分析方面展现出显著优势。然而,模型幻觉(hallucination)问题也愈发突出,表现为生成与输入语义不对应、对数据库架构或业务规则不敏感、以及输出不符合实际数据情况等错误信息,大大影响了系统的可靠性与用户体验。本文从幻觉现象的本质入手,系统梳理其定义、分类及成因;在此基础上,回顾当前无监督与有监督检测技术的研究进展;重点介绍基于 Token 置信度的主动采样检测(ASD)方法在 NL2SQL 场景中的设计思路与工程实现,并通过真实业务场景案例分析其在理想汽车销售数据查询中的应用效果。最后,对未来可解释性强化、轻量级实时检测和跨场景通用框架建设等方向进行前瞻探讨。
*主要内容包括以下几个部分:*
-
什么是大模型幻觉
-
为什么会出现幻觉
-
幻觉检测的研究进展
-
幻觉检测应用实践
-
未来展望
分享嘉宾|卓孔圣 理想汽车 高级算法工程师
编辑整理|陈思永
内容校对|郭慧敏
出品社区|DataFun
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
01
什么是大模型幻觉
随着人工智能迈入大模型时代,预训练语言模型在文本生成、机器翻译、对话系统和结构化查询等多种场景中大显身手。尤其在 NL2SQL 领域,通过自然语言直接生成可执行的 SQL 查询语句,为智能BI分析和自助报表提供了便捷通道。然而,幻觉现象逐渐成为制约系统工业化部署的瓶颈:部分语句在逻辑上与数据库表结构不匹配、对时间窗口或业务维度理解错误,甚至完全虚构字段或函数,导致下游执行失败。
- 通用大模型的幻觉
大模型幻觉指大模型在生成内容时,输出与输入无关、不符合事实或逻辑上不合理的虚假信息。其主要形式包括:
- 事实性幻觉(Factual Hallucination):事实不一致与捏造幻觉,即输出内容违背客观事实或业务规则,例如伪造名人名言、编造历史细节、虚构参考文献等;
- 忠实性幻觉(Faithfulness Hallucination):不遵循指令与不遵循上下文,即模型未能严格遵循输入指令或上下文约束,如忽视用户指定的过滤条件或分组维度。
根据模型的内在表现角度,可细分为:
- 自信幻觉(Confident Hallucination):模型在生成幻觉内容时 token 置信度高,即模型以高概率输出错误信息,令人更难发现潜在风险;
- 非自信幻觉(Uncertain Hallucination):模型在生成幻觉内容时 token 置信度低,即模型在低置信度阶段生成不确定内容,通过置信度分布可进行检测与过滤。
- 微调后幻觉定义
微调的过程本质是通过训练数据与模型对话,对齐任务标准的过程。对于给定输入,模型输出不符合任务定义即为幻觉。具体任务如下:
- 在分类任务中,模型输出分类结果(预测类别)与预期类别不一致;
- 在信息提取任务中,模型提取的信息与输入中包含的信息不一致,即抽取实体或属性与原始文本信息不相符;
- 在 NL2SQL 任务中,模型生成的 SQL 无法得到输入问题要查的数据,即生成的 SQL 语句可能因语法、字段名或逻辑错误而无法执行,或执行结果与用户预期不符。
02
为什么会出现幻觉
- NL2SQL 任务介绍
NL2SQL 任务的核心要素:指标、条件、分组维度。系统需将用户输入的自然语言表达精准转换为结构化查询语句,其核心流程包括意图识别、拒识判断、Prompt 拼接、SQL 生成。典型难点如下:
- 用户查询超出模型能力范围的指标:如查询模型尚未支持的指标;
- 用户查询能力范围内的指标,但问题中包含的条件和维度与指标存在冲突:查询语句中包含的指标不支持按照对应维度条件查询,;
- 用户问题不合理或表达不清:用户问题也可能是不合理的,或者表达不清存在歧义,无法生成正确的 SQL。
归纳出如下的流程简图:
- 意图识别:识别用户查询的指标
- 拒识判断:看指标是否支持,如果不支持,提示用户超出范围
- Prompt 拼接:如果指标支持查询,拼接合理的 prompt
- SQL 生成
- NL2SQL 微调幻觉成因
微调后的模型不应该存在自信的幻觉,所以我们只关注微调后模型的非自信幻觉,即由不确定性导致的幻觉,可能导致不自信幻觉的原因有:
- 训练数据存在不一致或不均衡导致对某些知识训练不充分,模型推理过程中关于该知识的表达会导致幻觉,即微调训练集对业务场景覆盖不全,某些字段或操作未充分训练;
- 模型推理超出训练数据范围的问题时会导致幻觉;
- 模型推理错误或不合理问题时会导致幻觉
具体而言表现为:
- 分类任务幻觉:输入为理想 L9 的 NP;输出却为 TP。我们并没有 NP 的类别,因为大模型的泛化能力,所以大模型输出了最相似的 TP 类别。
- 信息提取任务幻觉:24 年,理想 L9 销量,按上海分组;输出却为:条件{年,车系},分组{城市}。模型根据自己的理解进行了衍生,但是这个衍生并不正确。
- NL2SQL 任务:输入:24 年 7 月至今,理想 L9 的展定单,按季度分组;问题中展定单表达有歧义,导致模型把展定单理解成外展,最终导致 SQL 错误。
因此,工程实现中需针对以上机理制定多层次的检测与拦截策略。
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
03
幻觉检测的研究进展
- 常见幻觉检测思路
- 基于外部知识的验证(自信幻觉):通过验证 SQL 查询数据是否正确(基于工程方法)
- 基于自洽性(Self-Consistency)的检测(非自信幻觉):通过多次生成验证一致性(基于采样方法)
- 基于概率或不确定性的方法(非自信幻觉):分析生成 token 的低概率或高不确定性(如熵值过高)(基于不确定性量化方法)
- 监督微调与对比学习(非自信幻觉):构建幻觉-非幻觉对比数据,训练分类器识别幻觉(基于模型方法)
- 导致不确定的原因
模型对某个输入感到越不确定,其生成的输出在形式或内容上越可能是任意的或不一致的,这种不确定性可以帮助识别出可能导致幻觉现象的问题或情境。非自信幻觉导致的不确定性存在以下三种:
- 顺序的不确定性:LLM 可能在先生成时间条件还是先生成地域条件不确定。
- 形式上的不确定性:LLM 可能用不同的表达方式,但是不同的形式不会改变文本的基本含义。
- 内容的不确定性:LLM 生成不确定要生成什么内容。
- 无监督检测方法—语义熵
语义熵是利用模型对于其产生的任意输出的不确定性来检测 LLM 中的幻觉现象。通过语义聚类解决顺序不确定性和形式不确定性问题,从而检测内容不确定性导致的幻觉。
语义熵的实现流程:1、采样多个答案;2、对多个答案根据语义相似度进行聚类;3、根据聚类后的类别分布计算熵值即为语义熵
核心优势在于无需访问模型内部参数,或改造模型推理流程,适用于闭源与开源模型,但需要提高的采样次数来保证统计稳定性,增加推理成本。
其适用场景是主要对响应时间要求不高的应用或基于闭源模型开发的应用。
- 无监督方法-CCP(断言条件概率,Claim Conditioned Probability, CCP)
CCP 可以检测 LLM 输出中的幻觉,该方法适用于事实检查任务。通过将生成文本拆分为多个断言(Claim),通过拆分,解决顺序不确定性的干扰;然后判断每一个 claim 是否存在幻觉,看 claim 中每个 token 的置信度是否低于阈值,如果低于阈值,将这个位置的 token 替换为分布中置信度第二的 token,得到一个新的 claim,对比新的 claim 与替换前 clain 是否语义等价,如果等价则将两个 token 的置信度合并,再去判断是否低于阈值,如果不等价则认为该 token 存在幻觉。
- 无监督幻觉检测方法总结
无监督幻觉检测方法不依赖额外的训练模型,更适合轻量级的应用。因此具有以下优点:
- 无需额外训练:适用于已有模型部署环境,尤其适合边缘端或资源受限设备;
- 轻量高效:不引入额外参数,易于在现有系统中集成与上线;
- 即插即用:可作为后处理模块快速部署至已有 NL 任务流程中。
当前主流无监督方法围绕语义不确定性识别展开,核心思路如下:
- 随机采样与语义熵计算:通过对模型输出结果进行多次随机采样,观测生成内容在语义空间的波动性,并以此计算语义熵,用于度量幻觉风险。适用于解决因生成顺序或语言形式变化带来的不确定性。
- 文本拆分与主张验证(CCP):将较长文本划分为若干简洁的主张(Claim),逐条检测每一条 Claim 的语义合理性。这种方式能有效缓解长文本中因顺序变化引起的识别误差。
- 词语替换与语义稳定性评估:将目标词替换为多个备选词(如同义词或上下文相关词),再通过模型重新生成内容,观测生成结果是否发生明显变化。这种方法用于检验输出是否对词汇层面过于敏感,从而判断是否存在形式驱动的幻觉风险。
- 语义等价对比(如语义熵 + CCP 联合):将不同形式或拆分结果的文本进行语义对齐与对比,若存在显著语义偏移,则可视为潜在幻觉信号。此类方法融合了多个无监督策略,有助于提升检测鲁棒性。
尽管无监督方法具有灵活轻便的优势,但在实际应用中仍存在以下问题:
- 采样成本较高:需要多轮推理或生成过程,计算资源消耗大,尤其是在生成任务复杂或文本较长时;
- 结果不稳定:随机性强,不同轮采样可能得出不同结论,影响一致性与可靠性;
- 文本拆分效果依赖性强:若 claim 划分不合理,可能造成语义理解偏差,降低整体检测准确率。
- 有监督检测方法
(1)PINOSE
PINOSE 结合探针训练与离线一致性检查,针对非事实内容构造对照数据集,以二分类方式检测幻觉,即通过提取 LLM 中间层(16 层)中最后一个 token 的隐藏表示,作为分类模型的输入。该方法在同分布场景下具有高准确率,但依赖昂贵的标注与持续更新。
(2)Factoscope
Factoscope 提出了一种更为系统性的检测框架,模拟“测谎仪”原理,从静态与动态两个视角观测 LLM 内部状态,用以判断其输出的真实性。
①静态视角:激活图中的“生理信号”
Factoscope 首先关注 LLM 某一生成时刻的激活状态(激活图),特别是与事实相关的神经元激活模式:
- 观察现象:当 LLM 生成真实信息时,事实相关神经元激活更强;反之则较弱;
- 子模型设计:采用 ResNet18 CNN 对激活图进行编码,形成静态 embedding。
②动态视角:生成过程中状态的演变
动态视角通过跟踪模型生成文本过程中内部指标的变化,捕捉潜在幻觉信号:
- 关注指标:
最终输出排名的变化;
Top-k 输出词的索引;
Top-k 输出的概率值;
- 建模方式:
输出排名 → GRU 编码;
Top-k 索引 → ResNet18 CNN 编码;
Top-k 概率 → ResNet18 CNN 编码。
以上三个子模型与静态激活图子模型共同输出 embedding,最后通过线性层融合为统一表示 Emixed,代表 LLM 对事实的综合理解。
③表征优化与推理流程
- 训练阶段:采用对比学习优化 Emixed 表征,使其区分真实与虚假内容;
- 推理阶段:构建召回库,通过相似度检索实现内容分类与幻觉判别。
- 有监督幻觉检测方法总结
有监督幻觉检测方法在工程实践中展现出明显优势,尤其在同分布数据上具有较高的检测准确率和快速的推理速度。具体而言,其优势包括:
- 检测速度快:训练好的分类模型在推理阶段效率高,适合实时或低延迟场景;
- 同分布内精度高:在训练数据分布与实际应用一致的情况下,模型通常能实现较高的准确性。
然而,该类方法也存在一些显著的局限性:
- 依赖高质量标注数据:模型训练需要大量标注明确的幻觉与非幻觉样本,数据收集和标注成本较高;
- 泛化能力有限:在面对分布外数据或模型迁移场景时,检测效果可能显著下降;
- 维护成本高:每当被检测的大语言模型发生更新或替换时,原有的检测模型往往需要重新训练以适配新的模型行为,增加了长期维护的复杂度。
- 我们的方法——ASD
ASD(Active Sampling based on token-level confidence)是一种无需大量随机采样的幻觉检测策略,核心思路是根据模型在生成过程中的 token 置信度分布,主动识别存在语义不确定性的片段,并进一步判断其成因。具体流程如下:
(1)贪婪解码生成初始回答
给定输入问题 q,模型采用贪婪解码生成首个样本 a,并记录每一步生成过程中 top-N 的 token 及其置信度。
(2)筛选低置信度 token
分析每一步 token 的置信度,识别出存在不确定性的 token 作为潜在风险点。
(3)判断置信度低的成因
使用主动采样策略进一步确认 token 置信度降低是否由顺序不确定引起的还是由内容不确定性引起,从而识别幻觉风险。
- 如何筛选不确定的 token
考虑到单个 token 粒度过细,ASD 将其聚合为语义片段,并通过以下方式筛选不确定内容:
- 语义片段构建:将若干相邻 token 组成有语义完整性的片段,减少粒度过细带来的误判。
- 统计语义片段置信度:在评测数据集中,统计每个语义片段的置信度的均值与方差。
- 设定筛选阈值:通过“均值 - 3×方差”设定动态阈值,筛选出置信度显著偏低的语义片段。
- 定位关键 token:在低置信度片段中反向定位影响该片段置信度的具体 token,用于后续分析或重采样。
- 如何实现 ASD
在实际应用中,ASD 通过“模型输出回馈”机制构造扩展输入,从而提升采样策略的可控性。
此外,在对话型 LLM 中,ASD 兼容标准对话模板格式(SFT 模型训练时,会针对特定的 system prompt、进行适配,添加一些特殊token提示模型开始生成的位置、多轮对话中每个角色的位置以及最重要的终止符等等。这些特殊 token 与原始会话拼接方式也可以被称作对话模板,如果想固定一部分模型的输出,实现主动采样需要怎么办呢?需要将模型的输出拼接在对话模版的后面,让模型知道这是模型输出的部分,不是用户的输入。
- ASD 相比随机采样的优点
相比传统的随机采样策略,ASD 方法具有以下显著优势:
- 采样效率更高:ASD 避免无效的重复采样,能够显著减少样本数量。例如,当所有 token 的置信度均高(如 >0.99)时,ASD 判定无需额外采样,节省高达 95% 的采样次数。
- 采样结果更稳定:随机采样依赖随机种子,结果具有波动性。而 ASD 基于模型置信度分布,具有更高的一致性,便于后续分析和部署。
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
04
幻觉检测应用实践
- 分类任务如何做幻觉检测
分类任务通常用于识别用户问题中提及的指标名称,并据此判断是否合理。
(1)检测难点
- 如何精准识别超出范围的指标?:指标是否存在于模型知识中?模型是否“自创”指标?(内容不确定性)
(2)检测方法
- 判别式分类器:如微调后的 BERT 模型,可设置置信度阈值判断模型是否“自信”;
- 生成式方法:基于 LLM 微调的生成模型可直接生成识别出的指标名称,适用于开放领域问题。
(3)检测指标
- Token 置信度:输出 token 的概率值;
- 困惑度(Perplexity):衡量模型对输出序列的整体不确定程度。
- ASD 应用于信息提取
ASD(Active Sampling based on token-level confidence)可通过训练数据微调LLM有效辅助识别用户输入中涉及的条件或分组维度,提升信息提取质量。
(1)应用场景
- 用户问题:“24 年,订单量,按上海分组”
- 模型输出结构化内容
(2)不确定性类型
- 顺序不确定性:描述顺序不同影响模型理解;
- 内容不确定性:词汇不在训练分布内或含糊不清。
(3)ASD 优势
- 通过 Token 置信度筛选低置信度片段,定位潜在幻觉位置;
- 避免不必要的随机采样,提升检测效率与稳定性。
- NL2SQL 幻觉检测
(1)实现方式
- 使用 LLM 微调模型,端到端将自然语言问题转换为 SQL;
- 在推理过程中应用 ASD 检测策略,评估输出中是否存在幻觉。
(2)效果指标
- 检测准确率:80%
- 召回率:75%
- 实例分析
(1)问题:2023 年 MODEY 3 上险量
模型误输出:'Model Y' 替换成 'Model'(0.4855 置信度)、'MODE'(0.4608 置信度)
(2)问题:24 年 7 月至今,理想 L9 的展定单,按季度分组
输出问题:生成 SQL 语句中出现语法残缺和错误字段,如 channel 置信度仅为 0.4594,expand 置信度仅为 0.1955,模型不确定性明显。
- ASD 在实践中的应用方式
(1)实时检测
在在线推理阶段实时监控 token 置信度,判断生成内容是否存在潜在幻觉,提升线上稳定性。
(2)模型评估
- 当前模型评测多依赖有限评测集,覆盖面受限;
- ASD 支持对模型“幻觉率”进行系统评估,有助于发现评测集中未覆盖的问题类型,并通过幻觉率评估,提前发现潜在幻觉风险。
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 老师在线解除疑惑!
✅ 有心得体会想分享?群里聊!
扫码入群参与讨论
05
未来展望:可解释性与结构性控制
未来幻觉检测的重要方向之一是模型可解释性的增强。
之前介绍的都是从外部来检测大模型幻觉的办法,如今大模型的能力增强,大模型是否可以从内部意识到自己产生了幻觉?
Anthropic 通过研究机制可解释性,尝试了解大模型内部的计算机制,通过分析模型的神经元是否可以有效表达一些清晰的特征,但是研究中发现只有极少部分神经元可以清晰表达单一特征,大部分神经元在同时表达多个特征,导致无法把神经元与特征关联,进一步进行分析。为了更好的分析,Anthropic 提出了稀疏自编码器(SAE),把大模型的特征映射到稀疏可解释的空间,并基于可解释的特征绘制了归因图,用于展示在给定的输入条件下,各种特征是如何作用,最终产生输出。基于归因图去分析幻觉,发现大模型具备“幻觉控制回路”,这是一种结构化地参与特征决策路径的机制,并非简单的后处理手段。
未来,一方面我们可能会有更多优秀的大模型可供选择,同时这些大模型的厂商也会为用户提供幻觉检测的方法。对于垂类任务,可能需要我们搭建自己的大模型及幻觉检测的机制。通过深入解析模型内部结构和决策流程,有望构建更加稳定、可控的幻觉抑制系统。
以上就是本次分享的内容,谢谢大家。
利用AI Agent增强大模型Text-to-SQL能力应用实践
推荐语
通过AI Agent技术,本文深入探讨如何提升大模型Text-to-SQL的准确性与适应性,并分享企业级实践案例。
核心内容:
- Text-to-SQL技术概述、发展历程及当前挑战
- 大模型如何为Text-to-SQL提供新思路与显著优势
- 利用AI Agent增强大模型服务能力的实践方案
正文
导读
当前,随着大模型技术的不断成熟,其应用已逐步迈向1-N的规模化扩展阶段。在这一转型过程中,用户愈发关注大模型在实际应用中的表现,尤其是如何提升其适应性和准确性,成为了用户最为关心的问题。本文深入探讨了Text-to-SQL技术的应用发展历程、存在不足以及优化策略,分享了利用AI Agent增强大模型服务能力的实践案例,旨在为企业的智能化建设提供有益的思路参考和方法。
作者:党宏雷
某银行软件开发中心研发部架构师,十余年系统建设及架构设计从业经验,涉及军事指挥、企业应用、公共安全等业务领域,目前主要负责金融大数据分析及人工智能技术应用相关的产品建设、方案设计和技术研究等工作。
1.Text-to-SQL应用概述
Text-to-SQL也称为NL2SQL,是将自然语言查询转换为可在关系数据库上执行的SQL查询的技术。其核心目标是准确捕捉并反映用户意图,生成相应的SQL查询,确保执行后返回符合预期的结果。早在生成式人工智能LLM技术出现之前,已有很多专注于Text-to-SQL任务的机器学习项目。随着大模型技术的快速发展,凭借其强大的自然语言理解能力和推理能力,Text-to-SQL的性能得到了显著提升的同时,也大大降低了访问关系数据库和进行数据分析的门槛,并能够支持各种企业级应用。
Text-to-SQL技术的实际应用所面临的挑战主要在于自然语言的不确定性、数据库的复杂性和数据质量差异、自然语言到SQL语言的转换3个方面。这不仅需要模型具备强大的语言理解能力,还必须深入了解SQL语法,并在面对多样化的数据库结构和环境时表现良好的泛化能力。
大语言模型LLMs凭借其强大的语言理解和生成能力,为Text-to-SQL技术应用发展提供了新思路,LLMs能够通过理解自然语言问题的语义,建立问题与数据库模式之间的关联,并根据上下文生成正确的SQL查询。此外,LLMs还具备领域适应能力和错误修正能力,使其在Text-to-SQL任务中展现出显著优势。Text-to-SQL正在成为连接自然语言与结构化数据的重要桥梁,为企业数据分析和决策支持开辟了新的可能性。
2.Text-to-SQL的技术发展
Text-to-SQL技术的核心在于将用户输入的自然语言查询精准地转化为等价的SQL查询语句,从而使非技术人员也能借助日常语言与数据库进行交互。这一转换过程通常涵盖自然语言处理(NLP)、语义解析以及SQL生成等关键环节。当用户输入自然语言问题后,系统会首先运用NLP技术来理解用户的意图,然后通过语义解析把提取到的信息映射到数据库模式上,最后生成相应的SQL查询语句。
文本到SQL系统的发展历程宛如一部技术进化史,经历了从简单到复杂、从规则驱动到数据驱动、从特定领域到跨领域通用的漫长演进。早期的文本到SQL系统主要依赖严格的规则,通过人工精心编写语法规则和启发式方法,试图将自然语言查询转换为SQL命令。在简单且特定的数据库应用场景中,这些系统能够发挥一定的作用,而随着数据复杂性的不断增加以及查询需求的日益多样,其局限性也逐渐凸显出来。面对复杂的查询结构和多样的数据库模式,基于规则的系统显得力不从心,难以实现有效的泛化,这促使了技术的进一步革新。深度学习的浪潮为文本到SQL技术应用带来了新的曙光。
2017年,基于序列到序列模型(如LSTM和Transformer)的方法开始崭露头角,Seq2SQL和SQLNet等模型应运而生。这些模型采用了端到端的可微分架构,直接对自然语言进行解释并生成SQL查询。相较于传统方法,它们在性能、灵活性和可扩展性方面都有了显著提升,能够学习自然语言与SQL之间的映射关系,初步解决了一些复杂查询的生成问题。
预训练语言模型PLMs的出现,进一步推动了文本到SQL技术的发展。PLMs基于大规模无监督文本数据进行预训练,能够学习到丰富的语言表示,然后通过微调适应特定任务。在文本到SQL领域,PLMs通过将自然语言查询和数据库模式整合为统一表示,提升了SQL生成的准确性,尤其在处理多表连接、嵌套查询等复杂任务上表现出色。不过,PLMs也并非尽善尽美,其在跨领域应用时仍需大量针对特定任务的微调,且在理解复杂数据库模式方面存在一定的局限性。大语言模型的问世,标志着文本到SQL系统进入了一个全新的阶段。这些模型凭借其海量的参数和大规模的训练数据,展现出了强大的语言理解和生成能力。在文本到SQL任务中,LLMs能够更有效地捕捉自然语言查询与数据库模式之间的复杂关系,在零样本和少样本学习场景下表现优异,显著减少了对特定任务微调的依赖,提高了系统的灵活性和适应性。
3.Text-to-SQL应用存在的不足
当前,在Text-to-SQL的实际应用中,模型输出SQL的准确性尚未达到生产系统的精度要求,生成和执行效果仍存在优化空间。尽管借助大语言模型(LLMs)的能力,Text-to-SQL技术已取得了显著进展,但在实际应用中仍存在一些不足之处:
(1)查询意图理解偏差
由LLMs直接生成的SQL有时无法准确反映用户的查询意图,导致生成的SQL逻辑不正确,从而无法得到所需的查询结果。尤其在涉及多表关联和复杂筛选查询需求时,这种偏差更为明显。
(2)捏造错误数据信息
在生成SQL语句时,LLMs可能会产生一些看似合理但实际上并不存在的结构定义信息。这是由于大模型的幻觉问题所致,模型尚未充分学习数据库信息,并且对当前上下文的理解不足,从而导致误导性输出。
(3)多次生成答案不同
LLMs生成的SQL信息存在不稳定性。对于同一问题的多次提问,生成的内容可能不完全一致。这就需要人为干预,通过择优筛选和修正优化,才能确保其达到正确且可用的状态。
以上情况都在一定程度上影响了实际应用的用户体验。
4.利用提示工程、模型微调、RAG和Agent的优化思路
为解决这些问题,可考虑采用提示工程(Prompt Engineering)、模型微调(Fine-tuning)、联合检索增强生成和智能代理(RAG & Agent)等方法,以优化模型及应用的Text-to-SQL任务设计。
4.1.提示工程优化
通过设计特定的提示词或语句,引导模型生成更贴合用户意图的输出内容。在处理SQL查询时,向模型注入特定领域的知识,如SQL规范、数据库架构以及数据字段注释等额外信息,能够显著提升模型对于SQL语句结构和逻辑的理解能力。
提示工程的关键在于将自然语言问题与必要的数据库信息转化为适用于大语言模型(LLM)的自然语言序列输入,即问题表示。同时,当允许输入一些样例以利用LLM的上下文学习能力时,还需要考虑如何选择样例以及如何将这些样例有机地组织到输入序列中。
通过构建包含基本提示、文本表示提示、OpenAI范式提示、代码表示提示、指令微调提示以及上下文学习等综合Prompt策略的方法,在Text-to-SQL的Prompt设计中融入说明、数据结构、示例、提示或约束、领域知识及用户问题等要素,能够取得较好的效果,具体如下:
(1)说明:如,“你是一个SQL生成专家。请参考如下的数据表结构,输出SQL语句。”
(2)数据结构:相当于语言翻译中的字典。即需要使用的数据库表结构,把数据结构组装进Prompt,包括表名、列名、列的类型、列的含义、主外键信息。
(3)示例:作为可选项,也是提示工程的常见方式。即指导大模型生成SQL的参考范本。
(4)提示或约束:其他必要的指示。
(5)领域知识:可选项,某些特定问题中,对常识描述的解释。
(6)用户问题:用户提出的问题。
融合上述元素,可以得到TEXT-TO-SQL通用Prompt模板框架如下:
4.2.模型微调优化
针对预训练模型进行定制化调整,以更好地契合特定应用场景的需求。尤其在Text-to-SQL这类复杂任务中,通过利用包括SQL语句的专门数据集对模型进行微调,可以强化模型对SQL语言特性的理解和生成能力。这一过程不仅保留了大模型的语言理解广度,还提升了处理SQL转换的精确性和效率,有效避免生成SQL查询时的常见错误,从而提高了整体执行效果。能够支持微调的开源框架有很多,包括:
(1)DB-GPT-Hub
DB-GPT-Hub是一个利用大型语言模型(LLMs)实现Text-to-SQL解析的实验项目,主要包含数据集收集、数据预处理、模型选择与构建以及微调权重等步骤。通过这一系列处理,可以在提高Text-to-SQL能力的同时降低模型训练成本,最终实现基于数据库的自动问答。
DB-GPT-Hub采用了最新版本的预训练语言模型,如GPT-3或其开源变体,对大量的代码库进行训练,以学习编码模式和最佳实践。这种基于Transformer架构的模型具有以下特性:
上下文感知:模型能够理解代码块的整体结构,生成的代码与其上下文紧密相关。
多样性:能够根据不同的编程风格生成多种可能的代码实现。
可扩展性:通过持续训练和整合新的代码数据,可以不断提高代码生成的准确性和适用性。
(2)LLaMA-Factory
LLaMA-Factory的目标是整合主流的高效训练微调技术,适配开源模型,形成一个功能丰富、适配性好的训练框架。它提供了多个高层抽象调用接口,包含多阶段训练、推理测试、benchmark评测以及API Server等。
使用LLaMA-Factory进行模型微调是一个涵盖从选择模型、数据加载、参数配置到训练、评估优化直至部署应用的全面且高效的流程。
4.3.RAG/Agent增强
(1)RAG增强
RAG作为一种融合了检索和生成任务的人工智能技术,正在引领数据库查询领域的革新。它通过增强语言模型的能力,使其能够更精确地理解查询意图并生成相应的SQL语句,从而实现对数据库的高效且直观的访问。
Vanna是一个开源的、基于大模型和RAG框架的Text-to-SQL工具。它结合了RAG框架、大型语言模型、高质量的训练数据、持续优化、广泛的数据库支持以及开源定制特性,实现了在复杂数据集上的高精度表现。
RAG技术结合了检索(Retrieval)和生成(Generation)两方面的能力。在数据库查询的背景下,它不仅能够检索数据库中的信息,还能够根据检索到的信息生成相应的SQL查询语句。其中,检索组件负责从数据库中提取与用户查询相关的数据,使用索引和搜索算法快速定位信息,确保查询的准确性和效率;生成组件则在检索到相关信息后,根据这些数据构建SQL语句。
Vanna框架的工作原理可以概括为以下几个步骤:
- 用户输入:用户以自然语言的形式提出查询请求。
- 意图识别:通过自然语言处理(NLP)引擎分析用户的查询,识别其意图和关键信息。
- 信息检索:根据识别的意图,检索数据库中相关的数据。
- SQL生成:结合检索到的数据,生成相应的SQL语句。
- 执行与反馈:生成的SQL语句在数据库上执行,并将结果反馈给用户。
(2)Agent增强
AI Agent(智能体)是一种模拟人类或其他智能体行为和决策过程的系统。通过引入行动能力、长期记忆机制和工具整合能力,能够感知环境、处理信息、制定策略并执行行动来完成任务。AI Agent通过一个框架规划多个方法,这个框架具有一些具体模块,支持整个结构的运行。在Text-to-SQL任务中,这通常涉及多个步骤,Agent需要了解这些步骤并提前规划,具体的类型包括:
- 目标和任务分解:Agent将大型任务分解为更小、更易管理的子目标,以便有效地处理复杂任务。
- 反思与改进:Agent可以对过去的行为进行自我校准和自我反思,从错误中学习并改进未来步骤,从而提高最终结果的质量。
- 外部工具与资源利用:Agent可以调用各种外部工具集,如搜索引擎、数据库接口等,以扩展其功能并增强解决问题的能力。
- 对话管理与上下文保持:通过维护对话历史和关键信息,Agent能够在连续提问或修正查询时保持上下文的连贯性,提升用户体验。
5.基于Agent的Text-to-SQL应用实践
DB-GPT通过多模型管理、RAG框架、API调用、可视化、Text-to-SQL效果优化、Multi-Agents框架协作、AWEL智能体工作流编排、意图识别等多种技术支持,围绕Agengt数据应用构建大模型应用基础服务能力。其中,Agent的核心模块主要包括:Memory、Profile、Planing、Action等,围绕Agent构建多Agent之间的协作能力,包括:
(1)单一Agent:单个Agent有具体任务与目标,不涉及多模型协作。
(2)Auto-Plan:Agent自己制定计划,在多Agent协作时负责路径规划、分工协作等。
(3)AWEL编排:通过程序编排来实现多智能体的协作。
本文实践内容通过本地搭建DB-GPT及大模型服务环境,使用Text-to-SQL数据对话功能和创建Agent智能体Text-to-SQL应用对结构化数据集进行SQL生成分析验证。
5.1.应用架构
DB-GPT的Agent应用架构包括Resources、Agent、AWEL、Apps四个部分,如图所示:
Resources:是DB-GPT中智能体与外界交互的桥梁,包括工具、数据库、知识库等。
Agent:由Profile、Memory、Planing、Action模块组成,Profile模块的目的是做Agent角色认定,回答的核心问题,Memory即记忆模块用来存储、获取、检索信息,Planning模块制定计划,Action模块执行智能体的具体决策。
AWEL:是Agent智能体工作流表达语言,通过AWEL API可以专注于大模型应用业务逻辑开发,其采用分层 API 的设计,包括算子层、AgentFrame层以及DSL层。
Apps:能够支持Text-to-SQL应用、数据应用和问答应用等。
5.2.环境部署
(1)下载DB-GPT源码
(2)安装Miniconda环境
根据系统架构类型下载对应的安装文件
根据提示信息执行.sh安装文件
(3)创建Python虚拟环境
(4)修改.env配置文件
使用代理模型OpenAI并下载Embedding模型
在.env文件中配置Embedding模型
在.env文件中配置代理模型
(4)启动服务
(4)访问服务
访问浏览器地址http://localhost:5670
5.3.数据准备
数据准备使用MySQL数据库和CSpider的car-dataset数据集,car-dataset表示一个汽车相关的信息库,包含了continents、countries、car_maker、model_list、car_names、cars_data数据表及相关数据,实体关系及表结构字段信息如下:
continents数据表
countries数据表
car_makers数据表
model_list数据表
car_names数据表
cars_data数据表
预设问题包括单表查询、关联表查询和多表查询共9个查询问题。
(1)单表查询
问题1:统计数据集中的汽车数量?
问题2:统计数据集car_names表中不同model的汽车数量占比?
问题3:统计数据集中各制造商的车型数量占比?
(2)关联表查询
问题4:查询数据集中加速用时最少的车型?
问题5:统计数据集中不同年份生产的车型数量?
问题6:按照质量大小进行排序,查询最重的50辆汽车及其所属车型?
(3)多表查询
问题7:统计数据集中各国家生产的车型model数量占比?
问题8:统计数据集中的德国汽车制造商数量是多少?
问题9:统计数据集中所有欧洲生产汽车的平均马力是多少?
5.4.设定Prompt提示
按照通用Prompt模板设计提示如下:
(1)说明
你是1名数据库专家,擅长使用SQL语言帮助用户进行数据分析,能够根据用户提出的分析需求进行数据信息查询和处理SQL并生成计算结果,请根据以下用户问题生成意图理解清晰、解答准确的SQL语句。
以下cars-dataset数据集描述了1970年至1983年各国家制造商生产的406种汽车模型数据,其中包括:
car_makers数据表,生产汽车的公司信息;
car_names数据表,具体的汽车名称信息;
cars_data数据表,具体的汽车运行参数;
continents数据表,大洲列表;
countries数据表,国家列表;
model_list数据表,制造商生产的车型信息;
(2)数据库表结构
这里是数据库表的结构信息:
CREATETABLE car_makers (IdINTNOTNULL AUTO_INCREMENT COMMENT'制造商ID', Maker VARCHAR(255) COMMENT'制造商简称', FullName VARCHAR(255) COMMENT'制造商全称', Country INTCOMMENT'国家ID', PRIMARY KEY (Id),FOREIGNKEY (Country) REFERENCES countries(CountryId));CREATETABLE car_names ( MakeId INT AUTO_INCREMENT PRIMARY KEYCOMMENT'汽车ID',ModelVARCHAR(255) COMMENT'车型名称', Make VARCHAR(255) COMMENT'汽车名称',FOREIGNKEY (Model) REFERENCES model_list(Model));CREATETABLE cars_data (IdINT AUTO_INCREMENT PRIMARY KEYCOMMENT'汽车ID', MPG VARCHAR(255) COMMENT'每加仑英里数', Cylinders INTCOMMENT'气缸数', Edispl FLOATCOMMENT'发动机排量', Horsepower VARCHAR(255) COMMENT'马力', Weight INTCOMMENT'重量', Accelerate FLOATCOMMENT'加速时间',YearINTCOMMENT'发布年份',FOREIGNKEY (Id) REFERENCES car_names(MakeId));CREATETABLE continents ( ContId INTNOTNULL AUTO_INCREMENT COMMENT'洲ID', Continent VARCHAR(255) COMMENT'洲名称', PRIMARY KEY (ContId));CREATETABLE countries ( CountryId INTNOTNULL AUTO_INCREMENT COMMENT'国家ID', CountryName VARCHAR(255) COMMENT'国家名称', Continent INTEGERCOMMENT'洲ID', PRIMARY KEY (CountryId),FOREIGNKEY (Continent) REFERENCES continents(ContId));CREATETABLE model_list ( ModelId INTNOTNULL AUTO_INCREMENT COMMENT'车型ID', Maker INTEGERCOMMENT'制造商ID',ModelVARCHAR(255) UNIQUECOMMENT'车型名称', PRIMARY KEY (ModelId),FOREIGNKEY (Maker) REFERENCES car_makers(Id));
(3)用户问题及对应SQL语句示例
这里是部分用户问题及对应SQL语句示例:
问题:统计数据集中所有在美国制造的汽车的平均马力是多少?
回答:
SELECTAVG(cars_data.Horsepower) FROM cars_data JOIN car_names ON cars_data.Id = car_names.MakeId JOIN car_makers ON car_names.MakeId = car_makers.Id JOIN countries ON car_makers.Country = countries.CountryId WHERE countries.CountryName = "USA"
问题:统计数据集中在1970年,各个国家生产的汽车数量占比?
回答:
SELECT CountryName, COUNT(*) ASCount, (COUNT(*)/(SELECTCOUNT(*) FROM cars_data WHEREYear = 1970)) * 100AS Percentage FROM cars_data a JOIN car_names b ON a.Id = b.MakeId JOIN model_list c ON b.Model = c.Model JOIN car_makers d ON d.Id = c.MakerJOIN countries e ON e.CountryId = d.CountryWHERE a.Year = 1970GROUP BY CountryName
(4)领域知识
略
(5)约束条件
略
(6)用户问题
参见数据准备预设问题内容。
在交互界面中,将Prompt提示内容按照格式要求维护到系统中。选择[应用管理]->[提示词]->[新增Prompts],依次填写信息后保存。
5.5.创建Agent应用
开发自定义Agent可以通过角色定义、重载推理、构建记忆对象、定义模型输出、输出执行、执行展示等方法进行实现。这里我们使用DB-GPT提供的默认数据分析智能体(DataScientist)创建Agent应用。
(1)添加数据源
在交互界面中,将数据库添加到数据源中。选择[应用管理]->[数据库]->[添加数据源],依次填写本地数据库信息后保存。
(2)创建数据应用
在交互界面中,创建应用,选择[应用管理] ->[应用程序] ->[创建应用],选择[多智能体自动规划模式],填写应用名称和描述,点击确定。
依次选择对应的参数:
智能体:选择[DataScientist]智能体、[Reporter] 智能体
提示词:选择提前设定的Prompt提示
模型策略:选择优先级策略,可以按照优先级使用不同的模型。
可用资源:资源类型选择数据库类型,参数选择之前添加的数据源
推荐问题: 可以根据情况来设定默认问题。
(3)开始对话
点击开始对话,输入预设问题进行问答。
5.6.使用预设问题生成SQL并执行查询
(1)单表查询
问题1:统计数据集中的汽车数量?
问题2:统计数据集car_names表中不同model的汽车数量占比?
问题3:统计数据集中各制造商的车型数量占比?
(2)关联表查询
问题4:查询数据集中加速用时最少的车型?
问题5:统计数据集中不同年份生产的车型数量?
问题6:按照质量大小进行排序,查询最重的50辆汽车及其所属车型?
(3)多表查询
问题7:统计数据集中各国家生产的车型model数量占比?
问题8:统计数据集中的德国汽车制造商数量是多少?
问题9:统计数据集中所有欧洲生产汽车的平均马力是多少?
5.7.与Chat Data应用比较
简要生成结果比较如下:
注:Chat Data为DB-GPT默认数据对话应用(无提示优化及Agent增强)
5.8.结果分析
将生成的结果与Chat Data原生数据对话应用的输出进行对比后发现,在结果准确性方面,Agent应用的表现略有提升,在问题理解和SQL生成方面,Agent应用依赖于其规划能力和行动策略,执行过程的优化更为突出。
6.总结
随着生成式大语言模型的规模和训练数据的不断增长,LLMs的语言理解和逻辑推理能力不断提升,准确理解丰富语义并处理复杂数据关系的通用性和专业性能力也将增加。同时,利用AI Agent实现Text-to-SQL应用还可以进一步优化Agent策略以及与知识图谱、RAG等技术深入结合,拓展更多应用场景,以提升其应用能力和商业价值。
Text-to-SQL总失败?我搞了个能自动学习的AI,效果惊了!
推荐语
Text-to-SQL总是失败?这个能自动学习的AI智能体,通过动态上下文和持续学习机制,彻底改变了传统模式!
核心内容:
- Text-to-SQL智能体失败的根本原因分析
- 动态上下文与持续学习的创新解决方案
- 智能体自我提升的反馈循环机制
正文
前言
大家好,我是倔强青铜三。欢迎关注我,微信公众号:倔强青铜三。欢迎点赞、收藏、关注,一键三连!!!
本文将展示如何构建一个自我提升的 Text-to-SQL 智能体,它利用动态上下文和“穷人的持续学习”来回答问题。我们将问题分为两部分:
- Text-to-SQL 智能体(在线路径):通过从知识库中检索架构和查询模式(动态上下文)来回答问题。
- 持续学习(离线路径):从成功的运行中学习,并将新条目添加到知识库中。
当智能体找到一个成功的结果时,它会将其存储在知识库中,供以后使用。这为 Text-to-SQL 智能体提供了一个自我提升的反馈循环,同时保持在线路径的稳定性。
1. Text-to-SQL 在实践中失败的原因
大多数 Text-to-SQL 智能体在实践中失败,是因为它们每次从头开始,描述表、列、查找连接键。每次都会重复同样的错误。
相比之下,高级分析师或数据工程师不会每次都从头开始。他们会利用部落知识和经验,挖掘过去的查询以找到正确的查询。一旦找到有用的查询,他们就会将其保存在知识库中,供以后参考。我们的 Text-to-SQL 智能体也是如此。
我发现,大多数 Text-to-SQL 的失败并非“模型很蠢”,而是“模型缺少上下文和部落知识”的问题。让我们看看常见的错误:
- 模型每次从头开始,描述表、列、查找连接键。每次都会重复同样的错误。
- 模型猜测列名、使用模式,或者不知道正确的连接键。
- 模型缺少领域定义(活跃用户、流失率、ARR 等),或者不知道正确的业务规则(例如:“状态在 orders.state 中,而不是 orders.status 中”)。
- 模型缺少常见的陷阱(日期格式错误、空值位置错误等)。
- 模型重新发明了已经存在于组织知识库中的查询。
你可以为 Text-to-SQL 智能体提供的最大改进是赋予它与人类工程师相同的部落知识。这使他们能够重用我们知道有效的查询,并在运行时让模型搜索已建立的使用模式。 称之为 RAG、智能体 RAG 或动态上下文,都是一样的:模型在运行时可以访问正确的上下文以生成正确的 SQL。
我们的目标很明确:
- 给我们的智能体提供在运行时检索正确上下文的工具(架构、连接、过去的查询、指标定义、陷阱)。
- 生成基于已建立使用模式的 SQL(不猜测,不重新发明轮子)。
- 验证 SQL(查询可解析、架构检查等)。
- 运行 SQL 并“分析”结果。不要只给我数据,给我洞察。
- 捕获学习内容,以便下次运行更好(新的连接路径、修正的列映射、查询模板、指标定义)。
- 重复。
2. 什么是“动态上下文”
动态上下文就是:智能体在查询时检索相关的知识,这使它能够基于已建立的使用模式生成 SQL。上下文是动态的,因为它会根据查询、数据和用户的意图而变化。
智能体可以检索的例子包括:
- 表架构和关系。
- 常见的连接键和关系。
- 常见用例的已知查询。
- 指标定义和业务规则。
- 已知的陷阱(“状态在 orders.state 中,而不是 orders.status 中”)。
如果你的知识库中有“每周活跃用户”的查询,你的智能体应该检索它,而不是重新发明它。
3. 什么是“穷人的持续学习”(以及为什么它有效)
“穷人的持续学习”意味着:
- 我们不更新模型权重。
- 我们更新检索知识,当我们找到一个成功的结果时。
- 系统通过将经验作为可重用的工件捕获来改进。
每个好的查询都成为未来的上下文。 每个错误都成为一条规则。 每次澄清都成为共享知识。
穷人的持续学习之所以有效,是因为它提供了一个务实的学习循环:稳定的在线行为,受控的改进。最好的部分是,你总是可以手动探索知识库并修复问题或错误,想象一下手动更新模型权重。
4. 统一智能体架构
系统分为两部分:
- Text-to-SQL 智能体:通过从知识库中检索架构和查询模式(动态上下文)来回答问题。
- 持续学习:从成功的运行中学习,并将新条目添加到知识库中。
查询流程
- 用户提问
- 智能体从 KB(混合搜索)中检索上下文,使用:
- 问题文本。
- 检测到的实体(表、列、指标)。
- 可选的数据库内省结果。
- 这些知识通过动态上下文增强输入:
- 检索到的知识片段。
- 规则和约束(只读、限制等)。
- 这些知识指导 SQL 的生成。
- 智能体在安全环境中执行查询。
- 智能体分析结果并返回答案。
- 如果结果成功,智能体询问用户是否希望将查询保存到知识库中。
- 如果用户同意,智能体将查询存储在知识库中。
- 如果用户不同意,智能体重新审视查询,更新它并再次尝试。 你可以对学习路径进行两项改进:
- 在每次运行 Text-to-SQL 智能体后单独运行持续学习。这样,持续学习始终与最新的查询和结果保持同步。
- 为持续学习添加回归工具。这样,你可以在更新前后测试知识库,以确保它仍然有效。
5. 知识库设计(保持结构化)
我们希望知识库存储三种信息:
- 表信息:包括表架构、列元数据、查询规则、常见陷阱(例如:日期列包含一条规则:“在按日期过滤时使用
TO_DATE函数”)。 - 示例查询:包括常见的查询模式和最佳实践。以及如何检索常见的指标和 KPI。无需重新发明轮子。
- 业务语义和关系:将你的组织谈论数据的方式映射到数据库的结构。 我提供的示例代码库包含以下文件(表信息和常见查询):
agents/sql/knowledge/├── constructors_championship.json├── drivers_championship.json├── fastest_laps.json├── race_results.json├── race_wins.json└── common_queries.sql
6. 生产就绪的工具
我为我们的系统提供了一个生产就绪的工具,使用以下技术构建:
- 使用 FastAPI 应用程序运行我们的智能体。
- 使用 Postgres 数据库存储会话、记忆和知识。
这里是 仓库(https://github.com/agno-agi/agentos-railway) 的链接,包含生产代码库。
以下是仓库的结构:
.├── agents│ ├── __init__.py│ ├── sql│ │ ├── __init__.py│ │ ├── knowledge│ │ ├── load_f1_data.py│ │ ├── load_sql_knowledge.py│ │ ├── sql_agent.py│ │ └── test_questions.txt│ └── ... more agents├── app│ ├── __init__.py│ └── main.py├── compose.yaml├── db│ └── ... database configuration├── Dockerfile├── pyproject.toml├── railway.json├── README.md├── requirements.txt├── scripts│ ├── dev_setup.sh│ ├── entrypoint.sh│ ├── railway_up.sh│ ├── format.sh│ └── validate.sh├── teams│ └── finance_team.py└── workflows └── research_workflow.py
7. 运行自己的 Text-to-SQL 智能体的步骤
克隆仓库
git clone https://github.com/agno-agi/agentos-railway.gitcd agentos-railway
配置 API 密钥
我们将使用 OpenAI 作为 Text-to-SQL 智能体(我们还在服务中为其他智能体使用 Anthropic 和 Parallel Search)。请导出以下环境变量:
## 必需export OPENAI_API_KEY="YOUR_API_KEY_HERE"# 可选export ANTHROPIC_API_KEY="YOUR_API_KEY_HERE"export PARALLEL_API_KEY="YOUR_API_KEY_HERE"
你可以复制
example.env文件并将其重命名为.env以开始。
安装 Docker
我们将使用 Docker 在本地运行应用程序并将其部署到 Railway。如果需要,请安装 Docker Desktop (https://www.docker.com/products/docker-desktop)。
在本地运行应用程序
使用 docker compose 运行应用程序:
docker compose up --build -d
此命令构建 Docker 镜像并启动应用程序:
- FastAPI 应用程序,运行在 localhost:8000 上。
- PostgreSQL 数据库,用于存储智能体会话、知识和记忆,可通过
localhost:5432访问。
启动后,你可以:
- 在 localhost:8000/docs 查看 FastAPI 应用程序。
加载 SQL 智能体的数据
要加载 SQL 智能体的数据,请运行:
docker exec -it agentos-railway-agent-os-1 python -m agents.sql.load_f1_data
要填充知识库,请运行:
docker exec -it agentos-railway-agent-os-1 python -m agents.sql.load_sql_knowledge
将 AgentOS UI 连接到 FastAPI 应用程序
- 打开 AgentOS UI (https://os.agno.com/)
- 登录并添加
http://localhost:8000作为一个新的 AgentOS。你可以将其命名为Local AgentOS(或你喜欢的任何名称)。
演示
演示视频地址:https://www.ashpreetbedi.com/videos/sql-agent-demo.mp4
这是一个 Text-to-SQL 智能体的演示。注意我如何将一个查询添加到知识库中,当再次提出相同的问题时,智能体使用它来生成 SQL。
停止应用程序
完成后,使用以下命令停止应用程序:
docker compose down
将应用程序部署到 Railway
要将应用程序部署到 Railway,请运行以下命令:
- 安装 Railway CLI:
brew install railway
- 登录到 Railway:
railway login
- 部署应用程序:
./scripts/railway_up.sh
此命令将:
- 创建一个 Railway 项目。
- 将 PgVector 数据库服务部署到你的 Railway 项目中。
- 构建并部署 Docker 镜像到你的 Railway 项目。
- 设置 AgentOS 服务中的环境变量。
- 为你的 AgentOS 服务创建一个新的域名。
替代 NL2SQL,Agent+业务语义的创新产品设计
正文
导读 本文将分享数势科技在数据分析这一智能化赛道中的一些思考与实践。
*主要会围绕以下几个方面展开:*
-
引言:大模型技术对于数据分析领域能够解决哪些痛点
-
解决方案:智能分析产品常见设计思路以及优化路径
-
技术架构:Agent架构结合数据语义层 (Semantic Layer)如何实现产品落地
-
应用场景:某零售连锁行业智能分析助手落地案例
-
产品设计理念与挑战:LUI+GUI 融合的产品设计理念与挑战
-
未来展望:智能数据分析产品演进展望
-
问答环节
分享嘉宾|岑润哲 数势科技 数据智能产品总经理
编辑整理|小宁
内容校对|李瑶
出品社区|DataFun
01引言:大模型技术对于数据分析领域能够解决哪些痛点
第一部分,将剖析金融、制造、零售等行业客户所面临的痛点,以及大模型技术能为数据分析领域解决哪些问题。
首先,从管理团队视角来看,很多企业耗费大量精力建设了很多数据仓库、数据湖,包括一些大屏、驾驶舱,这些工具确实在一定程度上解决了领导层面看数据的问题,但是很多数据产品是固化形式的看板,对于决策层而言,data 并不代表 insight,当需要对某些细分的业绩指标做洞察分析时,还是要给分析团队提需求,这个时候就需要漫长的等待。
同时,领导层通常更关注 why 的问题,比如为什么公司业绩出现了下滑,为什么某一个门店的销量不好等等。而可视化、驾驶舱等工具只能给出 what 的解答,并没有触及到数据背后关键的 why。所以这个时候很多领导希望能够直接对着大屏,通过自然语言提问,比如为什么指标下降,由系统给出一个结论,这是很多领导层希望通过大模型加数据得到的。
第二,从业务人员视角来看,主要痛点是没有一个好的工具,他们只能自己去学习 SQL 语言,或学习使用一些复杂的 BI 工具,来做数据的可视化和分析。拿到数据之后,他们还要从大量的数据里面去挖掘一些洞见,需要手动导出 Excel,做透视表来获取结论。很多团队希望通过自然语言交互的形式,更快地从海量数据中直接获取到一些 insight,来辅助日常决策。
另一个重要团队是技术团队,包括数据开发,数仓工程师等。面临的痛点是,数据仓库虽然已经搭好了,但是业务方总有很多临时性需求,这就会导致数据仓库集市层建立了大量临时 ADS 表,维护了一些临时性的口径,使得数据分散、指标口径不一致。
针对上述痛点,我们希望利用大模型 Agent 架构去改变原有范式。
如上图所示,原有模式为业务方提需求,技术团队采买 BI 工具供业务方使用,但是工具太复杂,业务方不会用。数据分析师虽然会用 BI 工具,但相比需求数量,人员严重不足。
因此,我们提出了 Agent 架构加语义层的新范式,旨在降低业务团队的看数门槛,让大模型参与到整个环节中。
02解决方案:智能分析产品常见设计思路以及优化路径
我们提出的关键概念之一,是在数据和业务之间添加语义层,作为连接业务语言和技术语言的桥梁。
如上图所示,构建数据语义层包括 7 个核心要素,首先把数据集成进来,然后构建语义模型,通过数据虚拟化、OLAP 计算等方式,供大模型去消费。
很多企业目前在尝试的是称为仓内语义层的一套范式。在这一范式下,会将整个数据语义口径层构建在数据仓库内部,包括指标对应的是哪些表的哪个字段,加工逻辑等。
这种方式会存在两个核心问题:
- 数据语义层都是由数据工程师在数仓构建加工,业务方很难去修改这些 ETL 作业,而看数分析口径确实有可能发生变化,所以这种方式对业务方不够友好。
- 虽然数仓内部数据语义层做了统一,然而一旦把数据集市的结果表同步给了终端,比如 BI 工具、大屏、Data Agent,数据团队很难在终端维护指标口径。因为不同数据应用的负责人不一样,他们可能自己修改口径,就会导致两边看到的数据、指标不一致。数据本身的指标口径都不一致,想让大模型理解就更难了。
这是目前仓内做数据语义定义面临的问题。
基于仓内语义这套机制,很多团队也在尝试直接把数据中台内部的指标语义交给大模型,直接去生成 SQL。这种方式仍存在问题:
- 首先,即使用现在最强的 GPT-o1,也会存在一些准确性的问题。
- 第二,大模型生成的 SQL,可能没有经过优化,没有一个很好的 OLAP 引擎优化机制,这会导致查数非常慢,作为自然语言交互工具,这种等待会造成用户体验很差。
- 第三,大模型缺少直接对数据查询、数据权限的管控,这会导致不同用户问同样一个问题时,大模型不知道以什么样的口径、什么样的权限输出给客户,因此存在数据安全的问题。
因此我们希望构建仓外语义。
上图就是数势构建的仓外语义架构。
在维护原有的数据仓库、数据中台表不变的情况下,增加一个称为建模右移的指标语义层,其本质就是前文中提到的 7 要素。可以直接让业务团队、产品经理把指标、维度的一些核心要素做拼接,比如一个指标叫借款人数,它是原子指标,是一个最小颗粒度的指标,基于这个指标,会有一些分析维度,如机构、产品、时间要素等。这些指标、分析维度原子化之后,就对大模型比较友好了。
举个例子,这时候业务方提问大模型:帮我看一下最近 30 天的借款人数的增速如何?大模型首先会把这段中文的自然语义解析为:这句话里包含哪些原子指标,哪些要素,哪些时间,哪些高级算子。这层转化逻辑,是通过大模型本身的意图理解,对于自然语言的识别而实现的。
当大模型把这段自然语义解析为这些要素之后,就可以通过指标语义层的程序把这些指标、维度、时间要素解析为对应的 SQL,用于 OLAP 引擎查询。这个例子中,大模型做的不是 SQL 生成,而是只做用户语义的识别,对 SQL 片段进行拼接,这样能够避免大模型直接生成 SQL 产生的幻觉。
同时,这个过程是以低代码的方式去构建的,业务方也可以参与到数据编织、指标口径的调整优化中。这是仓外语义相比仓内语义的最大优势。
这样一来,指标语义层的产品定位,就变成由数据人员和业务人员共建的模式。这时候数据团队、数据管理员可以更多地聚焦于如何把数据仓库建好,而上层更加灵活的指标、口径定义和拼接可以由业务团队来设计。最终交给大模型理解的,其实是由业务团队设计好的指标语义、维度语义,避免了大模型幻觉的问题。
在这套范式下,整个流程变为,用户用自然语言提出一个分析需求,通过大语言模型进行意图识别,把需求理解为对应的指标、维度,这个意图识别的过程叫 Natural Language to Semantics to API。这些非结构化的自然语言,大模型只要解析到半结构化的 JSON,解析出自然语言里的指标、维度、时间、高级算子就可以,不需要穿透到每一个具体的 SQL 片段。然后由指标语义层,通过数据虚拟化技术生成 SQL 片段后,再由 OLAP 引擎做查询,并把结果同步给用户。通过这种方式,结合了数据语言跟业务语言,让大模型发挥更擅长的思考、意图识别和解析的能力,而让数据语义层发挥标准化的查询能力。
同时数据的安全性也有了保障。比如北京、上海、深圳三地的业务人员都要求:看一下近 7 天的销售额,虽然三个人的自然语言是一样的,但是可以通过识别每个人的角色、对应的权限级别划分等,保证不同人问同一个问题时,拿到的数据是不一样的。这是 NL2SQL 很难实现的。这种基于指标语义、基于 API 的方式,能够更精细化地考虑到指标的行列权限,并通过 Agent 架构覆盖到更多的场景。
上图展示了某客户实测 NL2SQL 和我们的 NL2Semantics 的效果对比。
当查询请求是比较简单的单表查询时,NL2SQL 可以通过直接读表实现。但是当难度上升到 3 星以上时,如果没有刚才提到的 Semantic Layer,没有一个多任务规划机制,直接 NL2SQL 就会有不准确的问题。以第四个问题为例,业务方既要看这个品牌在最近三个月销量 TOP3 的商品是哪些,又要看这三个商品的好评率,同时还要做一个数据报告。这其实需要多个任务的衔接,不仅仅是数据分析,还要做排序、解读,甚至归因。所以这时候,直接采用直接生成 SQL 的模式,很难满足业务方的特定需求。
通过我们引入的 Agent 架构,先把一个复杂请求做拆解,拆解成一个个原子能力,然后再结合指标语义层做解析。最终大模型看到的所有指令,都会映射到上图底部的这些不同颜色的要素,比如时间维度、地域维度、公司维度等。还是以第四个问题为例,对于大模型而言,只需要把这句话里的最近三个月识别为时间,商品识别为产品维度,好评率识别为指标,把这些映射关系 mapping 出来就够了。这些指标维度对应的 SQL 片段的逻辑,是在数据语义层 Semantic Layer 去维护的。
所以这种 Agent 架构加上 Semantic Layer 的方式,能够更好地满足用户在一些特定复杂场景下的查询请求。
03技术架构:Agent 架构结合数据语义层(Semantic Layer)如何实现产品落地
为了把 Data Agent 做好,除了语义层,还有一个很重要的技术点就是 Agent 架构。接下来将介绍如何将 Agent 架构与语义层相结合,来实现产品落地。
上图是某金融机构的一个例子,业务方的问题是:看一下最近 7 天基金申购人数,哪个渠道跌得最多,再帮我做个总结。
我们如果是从 Agent 的角度思考,在底层上会分为四个环节来完成这个任务,即专家雇佣、协同决策、动作执行和结果评估。
专家雇佣机制可以理解为,有一个小组,小组中每个角色都有自己擅长的能力,比如有些专门做数据提取,有些专门做可视化,有些专门做异常归因或写报告,这些都是独立的 Agent。我们希望针对任务,把这些 Multi Agent 做grouping。针对上述用户问题,需要三个专家一起参与:先取到数据,然后做数据的异常归因,最后基于结果写报告。这三位专家,或者说这三个 API 作为一个小组,一起协作把问题解决。
在协同决策流程中,大模型会生成一个调度任务。这个任务的编排,类似于现在很多 Agent builder 里面的流程图,把每一步的逻辑同步或是异步地自动化编排出来。这时候,大模型扮演了一个规划者或者协调者的角色。它会把这三个专家按照执行的顺序做串联,最终再由每一个 Agent 执行,拿到对应的结果或者报告给用户。大模型的 Agent 架构,其实像一个交响乐团的指挥,指挥并不一定会所有乐器,但是他能够去协调每一个声部、每一个乐器如何配合。这个时候其实就是一个大小模型协同的机制,大模型扮演的是一个思考者、协调者,把这些原子能力做编排,并且最终把用户的任务集成解决。这就是我们希望能够结合指标语义层和 Agent 实现的能力。
语义层需要确保取的数是准确的;而 Agent 架构则确保数据分析子任务能够被有机地编排起来,并且形成一个能让业务方看懂的结论或者报告。这就是我们的指标语义层与 Agent 的协作关系。
下图是一个更加具象化的产品设计思路。
Agent 架构能够在一些复杂场景帮助用户完成一些高阶的回答。从图中可以看到,当一个用户提问时,首先让大模型做一个感知,如果问的问题不是数据分析类,把这些任务路由到其他 Agent,比如知识库或文生图的 Agent 等等。
当发现这个意图确实是数据分析的时候,会通过一个 planning 规划的机制,对任务进行拆解,并反思设计的这一套 planning 的流程是否合理;同时还要考虑上下文,比如用户之前是不是问过类似的问题,是不是可以做一些动态 few-shot,实现更快的召回,用户上文提到的内容是不是对下文有帮助,会做一些记忆的获取。
在用户把复杂问题交给大模型,大模型做了合适的 planning 之后,下一步通过工具调用实现具体任务,比如取数,取到数据之后做归因分析,然后生成详细的报告。
这就是一个从大模型理解用户意图,再到编排,获取记忆,再去做实际的 function 执行的全流程。
第一步,数据语义层,要能够在获取数据时保证数据是准确的,这是最重要的。第二步,对复杂任务,通过 Agent 机制,将原子能力以合适的顺序、合适的时间点做编排,并且最后做回传。这里的工具调用,可能是同步的,也有可能是异步的,比如取数、图像生成比较快,就是一些同步的任务;当做一些数据解读,或者产出分析报告的时候,可能大模型用的时间很长,就变为一个异步的任务。
这就是一个由 Agent 架构出发,结合指标语义层的数据智能分析助手的实现逻辑。
04应用场景:某零售连锁行业智能分析助手落地案例
接下来将分享一个零售连锁行业客户落地智能分析助手的案例,展示如何通过语义层加 Agent 架构来解决企业内部日常看数、用数的问题。
这个客户是一个加盟连锁形态的零售商,希望赋能的群体是一些领导和线下门店经理。原来所有的看数、取数、指标分析全依靠于总部专业的 BI 分析师去做,提需求的有上千人,而数据分析师只有十几人,这就会遇到效率问题。
我们帮助其在已有数据中台之上构建了 Semantic Layer,先让大模型明白公司内部有哪些指标和维度。这层叫统一的数据语言,财务指标、门店指标、商品指标、供应链、外卖、毛利指标等所有指标的数据编织要先管理好,不仅人能看懂,大模型也明白该怎么取数。
另外,在数据应用层面构建了大模型分析助手。
这里对其原有数据仓库、数据湖建设没有任何侵入,而是在仓外构建了一个专门的数据语义层,去做数据的集成、数据的加速。这里最关键的就是 Semantic Layer 的环节,它是数据语言和业务语言之间的桥梁,使大模型能够理解用户所说的业务名词、黑话。在此之上,通过 Agent 架构、规划器的机制去串联不同的场景,比如查门店的业绩表现,看门店的客群画像,或者对一些财务指标做洞察。我们会先让大模型对用户的自然语言做一个意图识别,这里也适配了很多国产大模型,比如百川、智谱、千问等等。第一步大模型意图识别和 planning,第二步把对应的指标标签、客群或者对应的维度通过加速引擎查询出来。
其中最关键的就是语义层。上图是一个示意。当时有几百个指标,之前都是在每一个专业分析师的脑子里,分析师离职后,就再也不知道口径怎么取了。当我们把指标语义、指标血缘存起来后,想知道某个指标,就可以路由到对应的指标的结构或语义。
在构建智能分析助手之前,每个门店经理在做月度复盘、技术复盘时都是依靠专业分析师在 BI 或 Excel 里面做分析,成本、门槛很高。落地我们的一套系统之后,实现了让门店经理、不太懂数据的人可以直接通过自然语言的输入,去做一些指标洞察跟分析。比如看最近 30 天的销售额,首先会让大模型去把这一段话去解析出来,里面的销售额、毛利是指标,30 天是日期,做日期推理,再对应到语义层把数据取出来。取到之后,还可以通过快速地点选,让大模型生成一些可视化的图表。当发现指标异常时,可以让大模型去调度一些归因小模型,来做一些维度或者因子分析,实现快速洞察。针对维度特别多的问题,我们会通过一个维度归因的算法,快速定位到因子维度。
原来一个门店经理可能要花 4 个小时才能够知道,这一天毛利为什么跌了,是什么商品跌了,谁负责的门店跌了。现在通过自然语言交互即可直接生成结论。
一方面指标语义层告诉大模型指标体系怎么构建,另一方面通过 AIGC 技术,可以更加快速地把数据结论以报告或者文本的形式呈现出来,业务方不用自己去做 ETL 作业的编排。语义层也对一些黑话做了配置和映射。
这其中很重要的一个基础就是构建指标体系,明确指标血缘关系后,才能够做归因分析。
智能分析助手在准确性、人效、用户满意度等方面都带来了显著提升,同时通过强化学习机制,从点赞点踩中让大模型更好地了解用户应用的逻辑。
05产品设计理念与挑战:LUI+GUI 融合的产品设计理念与挑战
接下来分享我们的产品设计理念,以及在设计 Data Agent 过程中遇到的一些挑战。
对于 B 端应用,大模型参数等配置非常复杂。我们建议,产品形式不要像C 端一样只是一个对话框,而是采用 GUI 跟 LUI 结合的形式。LUI 的好处在于门槛低,GUI 的好处是一些参数、按钮、追问以图形化的形式呈现。
常见挑战 1:当用户提问模糊的时候,怎么提升交互体验
一个常见的挑战是,用户很多时候不明白自己的请求是否清晰。举个例子,一个用户作为门店经理,他的问题是:帮我看一下最近按照渠道的订单量,并对比一下去年同期。这个时候大模型不知道最近是 7 天还是 30 天,口径也不明确,也不知道需要怎样的对比。当用户的请求模糊时,我们希望大模型能够自己去思考,做一些反问提示。
比如,用户提问:最近的资产情况。大模型应该思考这个指标常用的时间维度是什么,给用户做一个推荐。又如,用户想要查看利润,那么用到的指标到底是前台毛利还是综合毛利,还是商品毛利?大模型应结合指标语义层进行反思,然后反问用户。这样才能够解决用户语意不清楚情况下的查询准确率问题。
常见挑战 2:如何让用户可以说企业内部的“黑话”
第二点就是前文提到的,用户在表述自然语言时可能很相似。比如用户运营部门、活动运营部门、经营分析或者财务部门,他们在表述需求时提出“看一下昨天某个门店的数据表现”。但实际上,每个人对于“数据表现”这四个字的理解是完全不一样的。运营人员可能想要看的是首单、复购、召回;经营分析部门则可能指的是营收、成本、利润、损耗。而大模型并不知道提问者是谁,因此需要把角色考虑进去,让大模型先知道你是谁,你对“数据表现”这四个字的理解是什么。
我们通过在后台,对企业专有名词(黑话)进行配置,并且把场景、角色考虑进去,去解决这个问题。这里会有一个冷启动的机制,我们需要去教大模型,用户是谁,用户关注的是什么,这样才能够让大模型逐渐理解到“黑话”到底映射的是什么样的指标。
应用场景 3:用户不仅需要提取数据,更需要分析思路
还有一个比较大的挑战是,对于业务方而言,数据的获取只是一个过程,不是结果,业务方要的不是数据,而是结论,是动作,是建议,所以不能只把数据表给用户。
在数据的基础上,需要帮助用户做一些快速的归因解读。通过持续反思,让大模型形成追问机制,能够更加快速地帮用户解决特定场景的问题。
06未来展望:智能数据分析产品演进展望
最后总结一下对数据智能分析产品未来演进方向的展望。
在 GPT-o1 推出之后,我们发现它的基础能力变得更加强大,已具备了在某些特定垂直领域的专业能力。而我们现在大部分的工具,不管是 Data Agent 还是其他 Agent,还是以 listening 的方式为主,还是以 chat box 的形式,回答用户问题。更好的模式应该是大模型在理解了用户分析历史,理解用户角色之后,来帮用户提问。比如一个面向财务人员,大模型每天帮他自动跑他关心的几个指标,生成报告。把分析的范式,从 listen 变成 speak,这样才更加符合数字员工的真实体验。大模型作为一个员工,能够主动思考,主动帮你想问题,主动帮你去分担一些任务。
同时,当有了一些 data 的结论之后,更好的一个形式是这个系统能够串联这些决策,能够从 conclusion 到 decision。比如发现某个指标不好,建议动作是哪些。这样才能够连接企业内部更多的决策体系,充分发挥数据的价值。
从 listen 到 speak,从 basic planning 到 expert strategy,从 conclusion 到 decision,这三个层次的演进是我对未来 Data Agent 的期望,这种形式才更加符合 Data Agent 作为主动化、智能化的数字员工的定位。
NL2DSL2SQL是实现ChatBI的正确技术路线吗?
推荐语
NL2DSL2SQL技术路线为企业级ChatBI提供了更稳健的解决方案,通过结构化中间层有效提升查询准确性与安全性。
核心内容:
- ChatBI如何通过自然语言交互重塑企业数据分析流程
- 直接NL2SQL与NL2DSL2SQL两种技术路线的优劣对比
- NL2DSL2SQL架构在商业化落地中的挑战与工程实践
正文
NL2DSL2SQL是实现ChatBI的正确技术路线吗?
核心观点:在当前技术阶段,NL2DSL2SQL(自然语言 → 领域特定语言 → SQL)不仅是实现企业级 ChatBI(对话式商业智能)的“正确”技术路线,更是确保其准确性、安全性和可维护性的“务实”路线。它通过引入一个结构化的中间层(DSL),有效解决了直接将自然语言翻译为 SQL 的诸多弊端。尽管该技术已从学术探索走向商业化落地,但要实现对复杂查询的完美自动化,仍面临挑战并需要持续的工程投入。
一、 什么是ChatBI?为何它在重塑数据分析?
ChatBI,即对话式商业智能(Conversational Business Intelligence),是人工智能(AI)与商业分析融合的产物。它允许用户通过自然语言(如日常对话)与数据进行交互,提出问题并获得分析结果与可视化图表,而无需编写复杂的SQL代码或进行繁琐的拖拽操作。这一变革旨在解决长期困扰企业的“数据分析师瓶颈”问题。
传统模式下,业务人员需要向数据团队提需求、排期、等待结果,流程漫长且沟通成本高。根据数势科技的分析,企业在数据分析与决策中普遍面临数据口径混乱、人才缺乏、使用门槛高和分析周期长等挑战。ChatBI 的核心价值正是通过赋能全员直接访问数据,实现数据民主化,从而加速决策并 fostering 一个创新环境 。
市场对这一变革反响热烈。据预测,全球自然语言处理(NLP)市场规模将从2024年的297.1亿美元增长到2032年的1580.4亿美元,复合年增长率高达23.2% 。这预示着以 ChatBI 为代表的会话式交互,正成为现代数据技术栈的标准功能。
企业在数据分析与决策领域普遍遇到的挑战
二、 技术路线之争:直接 NL2SQL vs. NL2DSL2SQL
实现 ChatBI 的核心在于将用户的自然语言查询(NLQ)准确地转换为可执行的数据库查询语言(SQL)。目前主要存在两种技术路径:
1. 直接 NL2SQL:简单直接但充满陷阱
这是第一代解决方案,尝试利用大语言模型(LLM)将自然语言直接翻译成 SQL。这种方法的吸引力在于其看似简单。然而,在企业级的复杂应用中,其弊端十分明显:
- • 准确率瓶颈:对于跨多表、含复杂逻辑的查询,直接生成的 SQL 准确率往往不高。有分析指出,其准确率通常在60%-70%之间,跨表查询时更低 。
- • 语义鸿沟:LLM 难以理解企业内部复杂的业务术语、数据间的隐性关联以及混乱的数据口径,导致“AI幻觉”频发。
- • 安全与治理风险:直接生成任意 SQL 文本,为 SQL 注入等攻击敞开了大门,且难以对查询行为进行审计和权限控制 。
2. NL2DSL2SQL:引入“语义层”的务实架构
为克服直接转换的局限性,业界转向了更为稳健的 NL2DSL2SQL 架构。该路径将转换过程分解为两步:
-
- NL → DSL (领域特定语言):首先,系统将用户的自然语言问题映射到一个结构化的中间语言(DSL)。这个 DSL 通常被称为“语义层”或“指标层”,它用一种精确、无歧义的方式定义了业务概念(如“活跃用户”、“毛利率”)、实体及其关系。
-
- DSL → SQL:然后,系统将这个结构化的 DSL 确定性地编译成特定数据库(如 PostgreSQL, Snowflake)的 SQL 方言。
这种方法的优势是压倒性的。根据多份学术及产业研究报告 arXiv, ,引入 DSL 带来了:
- • 更高的准确性与可信度:DSL 强制模型在预定义的业务逻辑框架内进行推理,有效减少了语义模糊和模型幻觉。
- • 更强的治理与安全性:DSL 可以被设计为只包含安全、合规的操作,从根本上杜绝了危险命令(如
DROP,DELETE)的生成,便于实现精细的权限控制和审计。 - • 更好的可维护性与复用性:业务逻辑集中在语义层进行定义和维护,避免了在各个报表和查询中重复开发,保证了数据口径的一致性。
因此,几乎所有成熟的商业应用都普遍依赖语义层(DSL)来确保可靠性和治理 。
三、 NL2DSL2SQL 的技术成熟度与挑战
NL2DSL2SQL 技术已从学术探索快速进入企业试点和产品化阶段。在公开基准测试(如 Spider)上,结合了微调、约束解码等策略的先进方法,执行准确率已能达到 70% 至 87% 的范围,足以应对简单到中等复杂度的分析查询 。
然而,该技术距离“完全成熟”仍有距离,主要挑战包括:
- • 复杂查询的“天花板”:对于涉及窗口函数、复杂子查询、多步推理的查询,准确率会显著下降 。
- • 语义模糊的挑战:用户的自然语言提问常常欠缺细节,模型可能做出错误假设。例如,当用户问“最近的销售情况”,系统需要通过追问或预设来明确“最近”是“最近7天”还是“本月至今” 。
- • 工程投入成本:构建和维护一个高质量的语义层(DSL)需要数据团队投入大量前期工作,并非“即插即用”的解决方案 。
- • 信任与验证:对于关键决策,用户可能不完全信任“黑箱”AI的答案,因此系统需要提供可追溯、可验证的查询路径和解释。
四、 主流 ChatBI 产品与技术实现
当前 ChatBI 市场百花齐放,既有大型云厂商和传统 BI 巨头,也有专注此赛道的创新型公司。它们大多遵循 NL2DSL2SQL 的思想,但在实现细节和侧重点上有所不同。
市场领先产品
市场领导者Microsoft Power BI (with Copilot)
作为微软生态系统的一部分,Power BI 的 Copilot 功能与 Office 365、Azure 等产品深度集成。它利用底层的 Power BI 数据模型(Semantic Model)作为事实上的 DSL,用户可以通过自然语言查询数据、生成报表和获取摘要。其优势在于强大的生态整合能力和企业级的数据处理能力。
- • 技术特点:深度集成微软生态,利用 DAX 和 Power Query 作为底层逻辑,Copilot 负责将自然语言映射到这些模型和查询上。
- • 适用场景:已深度使用微软技术栈的大型企业,适用于财务分析、销售管理等场景。
市场领导者Tableau (with Tableau AI)
Tableau 以其顶级的可视化和探索能力著称。其推出的 Tableau AI(包括 Tableau Pulse 和 Tableau Agent)将生成式AI能力融入其平台。用户可以通过“Ask Data”等功能用自然语言提问,系统会基于已有的数据源和模型生成可视化答案。尽管交互体验在持续优化,但其核心优势仍在专业、深度的可视化分析。
- • 技术特点:将 NLP 查询与强大的可视化引擎结合,强调交互式探索。
- • 适用场景:需要进行复杂、深度可视化分析的专业数据分析师和团队。
市场领导者ThoughtSpot
ThoughtSpot 是搜索驱动分析领域的先驱,其平台从创立之初就围绕“搜索”和“自然语言查询”构建。它通过预定义的、可治理的数据模型(语义层)将用户查询转换为 SQL,并以其高性能的内存计算架构支持大规模数据的快速探索。其 AI 分析师 Spotter 进一步强化了对话式体验。
- • 技术特点:原生搜索驱动架构,强大的语义层和高性能内存计算。
- • 适用场景:希望赋能业务人员进行大规模数据自助探索的企业。
创新型产品
创新产品DataFocus (with FocusGPT & 小慧)
DataFocus 定位为一款易用型、专为中文场景优化的搜索式数据分析软件。它通过其核心的 Focus Search 搜索引擎、小慧智能体和 FocusGPT,实现了从自然语言理解到数据分析与可视化的全流程自动化。其竞品分析报告显示,在动态表加载、行业术语解析(如“同比增长率”)等方面,其智能化程度优于传统工具 。
- • 技术特点:基于FocusSearch数据库搜索引擎技术,结合小慧LLM强大的自然语言理解能力,支持语音识别、多轮对话和分析引导,致力于降低非技术人员的使用门槛 ,能确保关键词到SQL生成100%的准确率,且达毫秒级查询响应效率,真正能做到让不懂SQL的用户通过对话、搜索的方式进行数据查询和分析。
- • 适用场景:追求高效率、低门槛,希望快速赋能业务团队进行自助数据分析的各类企业,尤其适合中文环境。
DataFocus旗下FocusGPT工作原理,展示了从用户提问到任务分解,再到通过小慧助手和Focus Search引擎生成结果的完整流程
创新产品Google Looker (with Gemini)
Looker 的核心是其强大的语义建模语言 LookML。LookML 本身就是一个非常成熟和完善的 DSL,允许数据团队用代码定义所有业务逻辑、指标和数据关系,确保了高度的一致性和可治理性。随着与 Google Gemini 模型的集成,Looker 现在能将自然语言对话能力直接构建在可信的 LookML 模型之上,实现了高准确度的对话式分析。
- • 技术特点:以 LookML 这一强大的 DSL 为基石,结合 Gemini 的生成式 AI 能力,实现了治理与灵活性的统一。
- • 适用场景:重视数据治理、希望通过代码管理业务逻辑、并构建统一可信数据平台的企业。
创新产品数势科技 (SwiftAgent)
数势科技的 SwiftAgent 提出了一个明确的“两段式”洞察路径:Natural Language ->; Metrics+Label -> SQL。这正是 NL2DSL2SQL 思想的典型实践。它通过构建统一的指标与标签语义层,旨在解决大模型对底层业务语义理解困难和企业数据口径混乱的核心痛点。其产品强调通过追问、反问等方式引导用户明确模糊查询,并能将分析过程沉淀到知识库中持续学习。
- • 技术特点:明确的 NL -> Metrics+Label -> SQL 架构,强调统一语义层和人机协同(Human in the Loop)。
- • 适用场景:数据口径复杂、业务逻辑多变,希望建立统一、可治理的数据分析决策体系的企业。
五、 结论:NL2DSL2SQL 是当前最优解,但非终点
回到最初的问题:NL2DSL2SQL 是实现 ChatBI 的正确技术路线吗?
答案是肯定的,至少在2025年的当下,它是最正确、最务实的选择。
相比于直接 NL2SQL 的“一步到位”幻想,NL2DSL2SQL 这种“多走一步”的架构,通过引入 DSL(语义层)这一关键“中间件”,成功地在灵活性与可靠性、易用性与安全性之间取得了关键平衡。它将理解人类模糊语言的挑战与生成精确机器代码的挑战解耦,使得构建企业级、可信赖的 ChatBI 系统成为可能。
然而,这并非终点。未来的 ChatBI 将朝着更智能、更自主的“代理(Agent)”方向发展。这意味着系统不仅能回答问题,更能主动发现洞察、提出建议、并通过多轮澄清式对话与用户协作完成复杂的分析任务。这要求技术在 Schema 理解、上下文记忆、多步推理和可解释性(XAI)上取得更大突破。但无论未来如何演进,一个清晰、可治理、可扩展的语义层,都将是支撑上层智能应用不可或ierenden 基石。
Power BI vs Tableau:AI 时代谁才是正确的方向?
推荐语
AI时代的数据分析工具之争:Power BI与Tableau谁更胜一筹?关键在于谁能更好地构建业务语义模型,让AI真正理解你的需求。
核心内容:
- 业务语义模型的核心要素与价值
- Power BI与Tableau在AI支持上的差异比较
- 未来数据分析工具的发展方向预测
正文
又是一个与 DAX 纠缠的下午。
你,一个经验丰富的业务分析师,正对着一个棘手的需求冥思苦想:“统计第二季度从 A 渠道来的新客中,购买了 B 产品、且在 45 天内复购了 C 产品的用户占比”。你很清楚这个指标的业务价值,但要将它翻译成 DAX 语言,却并不轻松。
几个小时过去,在尝试了多次 CALCULATE 嵌套 FILTER 后,你先把工作搁置。此时,你想起了 AI,把它作为新的尝试。
你用清晰的自然语言向 AI 提问。AI 反应迅速,给出了第一版代码。你测试后发现结果不对。你补充说明:“‘新客’的定义是第二季度首次下单的客户。”
AI 调整后给出第二版。这次理解了“新客”,却又把“复购”的逻辑处理得不严谨。你继续修正它:“复购 C 产品,必须发生在购买 B 产品之后。”
AI 再次更新,生成了一段更复杂但仍然不准确的 DAX,且出现了逻辑偏差。
经过几轮往返,“人机协作”没有达到预期。你会发现:问题并不在于 AI 是否会写代码,而在于它对业务语义模型的理解仍有限。它在逐条响应指令,但很难把“新客”、“复购”、“特定渠道”等业务概念,与底层数据结构和计算逻辑稳定地联结起来。
什么是语义模型?给 AI 的“业务说明书”
更具体地说,语义模型是一个位于原始数据(如数据库表)和最终用户(包括 AI)之间的逻辑层。它将复杂、技术化的数据结构,翻译成了易于理解的、结构化的业务概念。一个高质量的语义模型通常包含以下核心要素:
- • 度量值:这是业务分析的核心,即可量化的指标。例如,“销售额”、“利润率”、“日活跃用户数”。语义模型会固化这些指标的计算公式(例如,利润率 = (售价 - 成本) / 售价),确保公司上下对同一个指标的理解和计算方式完全一致。
- • 维度:这是观察业务的视角。例如,“时间”、“地区”、“产品类别”、“客户渠道”。维度为分析提供了上下文,让我们能从不同角度切入,对度量进行切片和钻取分析。
- • 关系:它定义了不同数据表之间的关联。例如,语义模型会明确指出“订单表”通过“客户ID”与“客户表”相关联,通过“产品ID”与“产品表”相关联。这样,当你筛选某个地区的客户时,系统才知道如何正确地汇总这些客户所产生的订单金额。
- • 层次结构:这是维度内的数据层级。例如,将“年、季度、月”组织成一个时间层次,或将“国家、省份、城市”组织成一个地区层次,方便用户进行逐级下钻分析。
- • 业务术语:将数据库中可能存在的晦涩字段名翻译成通俗易懂的业务名称,并可以添加注释和同义词,让 AI 和业务人员都能轻松理解。
总而言之,语义模型构建了一个稳定、可复用、与业务语言对齐的数据分析框架。它让 AI 不再是面对一堆原始数据表进行猜测,而是在一个清晰的地图上按图索骥,从而大幅提升了分析的准确性和效率。
指标语言 X 的两条底线:
- • 充分性:任何业务描述都能被 X 精确表达;
- • 必要性:任何业务描述的数学逻辑都能在 X 中以某种方式实现。
只会做简单聚合而无法表达复杂逻辑与上下文的“指标平台”,在 AI 时代会非常受限。于是一个反向问题出现:如果 AI 拥有一个由专家构建的高质量“语义大脑”,能力上限会到哪里?
微软内部的 NL2DAX 测试
为了更客观地评估这一点, 微软内部引擎组设计并运行了一套 NL2DAX(自然语言到 DAX) 的基准测试:在提供清晰语义模型的前提下,用较复杂的业务问题来考察模型的转译与推理能力。
在 2025 年 5 月,哪怕是强模型,在这套测试中也仍有明显不足。
但是,就在刚刚,到了 2025 年 8 月 GPT-5 发布后,在同一基准与单轮提示的条件下,GPT-5 的成绩接近满分。更稳妥的表述是:在给定语义模型与提示工程的前提下,AI 在 NL2DAX 上的关键瓶颈得到显著缓解;但这并不意味着“全面掌握 DAX”,真实业务仍依赖语义质量、上下文管理与多轮澄清。
这也印证了我们开头的判断:AI 表现的上限,很大程度取决于语义模型是否到位。
后劲与临界点:从“会写”到“会算”的那一步
AI 时代的 BI 后劲尚未完全释放。要把基准里的好成绩稳定迁移到真实业务,需要三件事同步到位:
- • 高质量语义模型:定义清楚(口径统一)、逻辑落地(维度与关系明确)、表达可执行(DAX/SQL 等度量与查询完备)。
- • 产品化的人机协同:多轮澄清、会话记忆、错误可解释与可更正,保证“从问题到度量”的路径可控。
- • 治理与复用闭环:血缘、权限、版本与审核,让指标成为跨团队复用的资产,而非分散在图表里的临时计算。
一旦跨过这个系统性阈值,价值会产生量级跃迁:从“会写文案/图”到“会算指标与归因”;从“报表驱动”到“对话驱动”;从“人拉动”到“系统推送”。
两条路线:Power BI 与 Tableau 的产品哲学
Power BI:从“听懂”出发的治理体系
Power BI 的核心理念是“语义优先”。它强调通过统一的语义模型来确保数据口径的一致性、安全性和可复用性。
- • 核心技术:基于 Tabular/VertiPaq 列式存储引擎和 DAX 查询语言,通过 Power Query (M语言) 进行数据准备(ETL)。
- • 语义模型:维度与度量被集中管理,可被报表、Excel 等多前端共享。关系建模、行级别安全(RLS)、血缘分析等功能构成了完整的治理体系,易于形成“指标工厂”。
- • AI 融合:Copilot 能充分利用语义模型中的描述、同义词等信息,生成 DAX 代码、推荐报表页面,甚至进行归因分析和业务模拟。
- • 优势:特别适合需要经营/财务指标一体化、跨部门统一口径的场景。其“问—算—答—归因”的分析闭环能力更强。
- • 挑战:要求“先建模,再出图”的开发纪律,DAX 语言本身存在一定的学习曲线。如果语义层构建不扎实,Copilot 的效果会大打折扣。
Tableau:从“表达”出发的探索体系
Tableau 以其极致的可视化探索体验著称,其产品哲学更侧重于“流畅表达”。
- • 核心技术:VizQL 引擎带来顺滑的拖拽式探索体验,Hyper 数据引擎则负责加速。
- • 数据模型:以 Relationships 为主,配合 LOD 表达式和表计算处理多粒度聚合问题。数据准备则由 Tableau Prep 负责。
- • 语义与治理:通过 Tableau Catalog / Data Management 提供数据血缘、认证等治理能力。近年来,它正与 Salesforce Data Cloud 加速协同,补齐语义层的能力,减少“图表内重复定义指标”的情况。
- • AI 融合:Pulse / Einstein 等功能更擅长“主动洞察”和“指标分发”,能将关键指标以自然语言摘要的形式,主动推送到业务流程中。
- • 优势:在高质量的数据故事讲述、自由探索式分析方面依然是标杆。其嵌入式洞察与协作能力,能更好地融入营销、客户运营等业务流程。
- • 挑战:若缺少统一的语义层,跨图表、跨团队的指标一致性与复用性会受影响。在追求“AI 问—算—答—归因”的全链条能力时,通常需要引入独立的指标中枢来兜底。
Tableau 正在补强语义
Tableau 的近年主线是在保持“可视化与流程内分发”优势的同时,加速完善语义与治理能力:
- • 强化语义层:推进可共享口径与统一度量(常见路径是 Tableau Semantics 与 Salesforce Data Cloud 协同),减少“图表内重复定义”的历史问题,提升跨团队一致性与复用度。
- • 洞察分发路线:以 Pulse / Einstein 为代表,侧重“主动洞察 + 自然语言摘要”,把关键指标推送进业务流程(订阅、提醒、消息流)。
- • 治理与可追溯:依托 Tableau Catalog / Data Management 做血缘、认证、数据质量标识与访问控制,补齐企业级治理所需的元数据管理能力。
- • 数据准备与生态:以 Prep、扩展 API 与嵌入式能力落地到多系统,便于在现有业务系统中“就地消费”洞察。
- • 整体判断:Tableau 并非“忽视语义”,而是从自身长项出发逐步把语义与治理做厚;在强调“表达/分发”的同时,向“统一语义 + 企业治理”靠拢。
无头 BI 与轻量指标平台:位置与潜力
把指标定义与执行逻辑做成指标即服务(MaaS),供 Power BI / Tableau / Excel / 应用 / GPT 统一调用,是一条现实路径。
- • 适用:多 BI 并存、强治理诉求、希望统一口径并开放指标 API。
- • 边界:它不做可视化与 ETL,必须与前端/数据平台配合;若指标语言只有聚合、缺乏表达复杂逻辑与上下文的能力,就会沦为“伪指标平台”,难以支撑 AI 的“问—算—答”。
群雄观察:主流 BI 平台语义能力对比
| 维度 / 产品 | Power BI | Tableau | Google Looker | Qlik Sense | SAP Analytics Cloud | ThoughtSpot | 帆软 FineBI | 观远数据 | 网易有数 |
|---|---|---|---|---|---|---|---|---|---|
| 语义模型成熟度 | ★★★★★ | ★★★☆☆ | ★★★★☆(模型语言强) | ★★★☆☆ | ★★★☆☆ | ★★☆☆☆ | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ |
| AI 融合度 | ★★★★★(Copilot) | ★★★★☆(Pulse/Einstein) | ★★★★☆(Duet/LLM 接入) | ★★★★☆ | ★★★☆☆ | ★★★★☆ | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ |
| 指标治理体系(血缘/权限/版本) | ★★★★★ | ★★★★☆ | ★★★★☆ | ★★★☆☆ | ★★★☆☆ | ★★☆☆☆ | ★★★☆☆ | ★★★★☆ | ★★★★☆ |
| 平台一体化(数仓/湖/计算/协作) | ★★★★★ | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★☆☆ | ★★★★☆ | ★★★☆☆ | ★★★★☆ |
| 生态与嵌入(社区/扩展/嵌入) | ★★★★★ | ★★★★★ | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★☆☆ | ★★★★★ | ★★★☆☆ | ★★★☆☆ |
表格基于公开资料与一线实践综合观察,由 AI 打分,仅供参考。
一句话解读
- • Power BI:语义优先、一体化程度高,“问—算—答—归因”更易落成日常能力。
- • Tableau:表达与流程分发上优势明显,语义与治理在提速补强。
- • Looker:以 LookML 为代表的语义层清晰,适合“无头指标服务 + 多前端”架构。
- • Qlik:关联式引擎 + Insight Advisor 适合探索式分析与自助发现,治理需按方法论加强。
- • SAC:与 SAP 业务体系耦合紧密,适合强流程、强主数据治理场景。
- • ThoughtSpot:搜索范式与嵌入见长,指标底座完备时更好发挥。
- • 帆软 / 观远 / 网易有数:国内代表性路线,分别在“本地化集成与实用主义”、“ AI 原生语义指标平台化”、“企业级指标治理与生态协同”上各有发力点。
ABI 落地,现在有多少企业真的在做对?
把“是否真正理解并落地语义模型 + AI”拆成四档,给出一个经验区间(行业与规模差异很大,仅供参考):
-
• 先行者(约 10–15%): 已建立统一语义/指标中枢,20–50 个关键指标具备定义 + 可执行度量并跨系统复用;Copilot/对话式分析用于日常问答与归因,指标复用率 > 60%,有血缘/权限/版本审计与度量评审流程。
-
• 探索成型(约 30–40%): 关键指标逐步固化,形成样板间;前端多样但共享同一数据集/语义接口;试点对话式分析,首问命中率与澄清轮次持续改善。
-
• 工具驱动(约 35–45%): 报表多、口径分散,指标常在图表里“临时拼接”;AI 多用于写周报、生成图表与摘要,难以稳定“算到点子上”。
-
• 初始认知(约 10–15%): 关注可视化呈现与报表交付,尚未启动统一语义与指标治理。
自查 6 指标(选 3–5 项跟踪):指标复用率;Copilot 首问命中率与平均澄清轮次;口径冲突事件月降幅;度量派生/组合占比(指标引用指标);从问题到建议的平均时长;治理完成度(血缘/权限/版本)。
结论:谁更接近“正确的方向”?
在 AI 时代,胜负手回到“语义建模与治理”。
- • Power BI 在“语义 + Copilot 融合、指标复用与治理”上更易落地“问—算—答—归因”闭环。
- • Tableau(配合 Salesforce 生态) 在“可视化表达、洞察分发与流程嵌入”上持续领先,并在语义层能力上加速加强。
- • Looker / Qlik / 其他平台各有长项,适合“语义中枢 + 多前端”或探索驱动的组织路径。
对多数企业而言,工具选择不是终点。更关键的是:尽快把20–50 个关键指标的语义与可执行逻辑沉淀下来,让团队共享同一套“指标语言”。当语义到位、治理成型、交互顺滑,你会看到 BI 不再只是“看报表”,而是与数据进行深度对话——而谁的语义更扎实、与 AI 的衔接更顺畅,谁就更有机会在下一阶段占优。
在与 AI 适配的过程中,对所有厂商、产品、个人都是新的机会,这里并非在表达 Power BI 强过 Tableau,以及 AI 的打分也不表示什么,更多的是引发大家的思考。这让我想起:霍元甲。回到历史中,要摒除门户之见,集各家之所长,把智能化驱动数据价值创造的系统化能力的研究和实践推向更高境界,这也是个人、企业和生态进化的必然。
企业知识库构建最佳实践:ChatBI发展中的关键角色
推荐语
ChatBI如何借助企业知识库突破AI幻觉瓶颈?本文揭秘构建高效语义层的三大关键策略。
核心内容:
- 企业知识库在ChatBI中的核心作用与价值
- 主流BI工具的语义层实践方案对比
- 构建可靠企业知识库的具体实施路径
正文
随着人工智能技术的飞速发展,ChatBI(对话式商业智能)正以前所未有的方式重塑企业与数据的交互模式。它允许用户通过自然语言直接向数据提问,极大地降低了数据分析的门槛。然而,AI的“幻觉”问题——即模型生成看似合理但事实不符的答案——成为阻碍ChatBI在企业级应用中获得完全信任的关键挑战。研究与实践表明,构建一个强大、可靠的企业知识库,或称之为“语义层”,是解决这一问题的核心策略。本文将深入探讨企业知识库在ChatBI发展中的关键作用,详细对比主流BI工具的语义层实践方案,并提供一套可行的企业知识库构建最佳实践。
一、 知识库:ChatBI的“理性”基石与幻觉“解药”
在ChatBI的语境下,企业知识库或语义层(Semantic Layer)是一个位于底层数据源和终端用户应用之间的智能翻译与抽象层。它将复杂、技术性的数据结构(如数据库中的表和列)转化为统一、易于理解的业务术语(如“销售额”、“活跃用户”、“月度增长率”),从而在人与机器之间架起一座沟通的桥梁。
有无语义层时数据流向日常工具的差异对比
1.1 核心作用:从数据民主化到决策智能化
企业知识库的核心价值在于解决“数据分析师瓶颈”问题。传统模式下,业务人员需要向数据团队提需求,等待分析师编写SQL查询,这个过程周期长且效率低下。知识库通过将业务逻辑(如指标定义、维度关系)固化,赋能非技术用户独立、安全地进行自助式数据探索,真正实现数据民主化。当AI Agent(智能体)介入时,这个知识库便成为其“大脑”,使其能够理解业务目标,而不仅仅是执行任务。
1.2 对抗AI幻觉:提供可验证的“企业事实”
AI幻觉的根源在于大语言模型(LLM)依赖其训练数据中的统计模式进行预测,而非真正的逻辑推理。当面对企业内部特有的、未曾见过的复杂数据和业务术语时,模型极易“凭空捏造”。企业知识库通过以下机制有效缓解此问题:
- • 提供上下文与“锚定”(Grounding):通过检索增强生成(RAG)技术,知识库为LLM提供与用户问题最相关的、准确的上下文信息,如表结构、列定义、指标计算公式和业务规则。这使得模型的回答被“锚定”在可验证的企业事实上,而非其内部的模糊知识。
- • 约束生成空间:通过定义领域特定语言(DSL),知识库将AI的输出从无限可能的SQL文本,约束到一组有限、安全、合规的语义操作中。这不仅降低了生成错误和SQL注入的风险,也从根本上杜绝了模型生成危险或无意义查询的可能性。
- • 提升可解释性与信任度:一个清晰的语义层使得AI的决策路径(从自然语言到业务术语,再到SQL)变得透明可追溯。用户可以验证AI的“思考过程”,从而建立对分析结果的信任。
二、主流BI工具的语义层实践对比
各大主流BI厂商深刻认识到语义层的重要性,并各自发展出独具特色的技术路径和实践方案。以下将对几款代表性产品进行详细对比。
2.1 DataFocus:以自然语言为核心的智能语义引擎
DataFocus将自己定位为“让数据分析像搜索一样简单”的BI工具,其核心壁垒是强大的自然语言处理(NLP)和语义解析引擎。它并非在传统BI上叠加AI,而是从底层就围绕自然语言交互来构建。
- • 技术特色:DataFocus采用“自然语言 → 关键词 → SQL”的两段式解析路径。其核心组件包括Focus Search搜索引擎、具备意图识别能力的小慧智能体,以及支持多轮对话的FocusGPT。这种架构的优势在于,它将复杂的语义理解任务分解,先由大模型将用户提问转化为结构化的关键词(如“最近一个月”、“销售额”、“同比增长”),这一步对用户透明且可干预;然后通过确定性规则将关键词精确映射为SQL。这种设计有效控制了AI幻觉,提升了查询的准确性和响应速度。
- • 知识库实践:DataFocus通过“搜索拓展”和“知识库”模块,让企业能够轻松构建自己的语义层。用户可以为列名和列中值定义“同义词”(如将“GMV”映射到“销售额”),或通过公式创建“自定义关键词”(如将复杂的筛选条件封装为“高价值客户”)。此外,其知识库支持录入非结构化的业务规则和背景知识,通过“知识沉淀”和“小慧点赞”等反馈机制,让AI在与用户的持续互动中学习和进化,变得更懂业务“行话”。
DataFocus的FocusGPT工作原理,展示了从用户提问到结果返回的完整智能体实现流程
2.2 Tableau:从数据准备到语义模型的集成治理
Tableau作为可视化分析领域的领导者,其语义层能力体现在从数据准备到模型发布的全流程治理中。其核心理念是通过一个统一、受管控的语义模型,为整个组织提供可信的数据源。
- • 技术特色:Tableau的语义层构建主要依赖于Tableau Prep Builder和Tableau Prep Conductor进行数据清洗、转换和建模。用户可以通过拖拽式界面创建数据流,定义计算字段、参数和层级,这些都构成了语义模型的基础。近期,Tableau推出了Tableau Semantics平台,它深度集成于Salesforce Data Cloud,旨在将原始数据映射为标准化的业务术语,并支持AI辅助的关系建议和计算,从而加速洞察。
- • 知识库实践:在Tableau中,知识库的实践更侧重于数据治理和元数据管理。通过发布和认证“数据源”,管理员可以为用户提供一个“单一事实来源”。其AI功能(如Ask Data和Tableau Pulse)正是基于这些经过治理的语义模型来理解用户查询。然而,与DataFocus相比,其对自然语言中复杂行业术语(如“同比增长率”)的自动解析能力较弱,更依赖于预先在模型中通过计算字段明确定义。
Tableau的语义模型构建器界面,展示了数据对象、关系图和数据预览
2.3 Microsoft Power BI:以DAX和数据模型为核心的强大生态
Power BI的语义层能力根植于其强大的数据建模引擎和DAX(Data Analysis Expressions)语言,并与微软的Fabric和Azure生态系统深度融合。
- • 技术特色:Power BI的核心是其语义模型(旧称数据集),用户可以在Power Query中进行数据转换,然后在模型视图中建立表间关系、定义层级和创建度量值。DAX语言是其语义层的灵魂,它提供了极其丰富的函数库,允许分析师构建极为复杂的业务逻辑和KPI。这种“模型驱动”的方式确保了所有报表和可视化都基于统一的计算口径。
- • 知识库实践:对于ChatBI应用,Power BI Copilot直接利用已构建的语义模型来回答用户的自然语言提问。一个结构清晰、关系明确、度量丰富的模型是Copilot准确响应的先决条件。微软还引入了“已验证答案”(Verified Answers)功能,允许作者为常见或复杂问题预设标准答案,这既能保证一致性,也能反向训练Copilot,提升其对用户意图的理解准确性。
2.4 Google Looker:以LookML为基石的“代码即语义”
Looker(现为Google Cloud的一部分)的语义层实现方式在业界独树一帜,它推崇“代码即语义”的理念,其核心是专有的建模语言——LookML。
- • 技术特色:LookML是一种类似于SQL的声明式语言,允许数据团队通过代码来定义所有的业务逻辑,包括维度、度量、计算和表间关系。所有定义都集中存储在Git版本控制的项目中,这使得语义层的协作、审查和迭代变得极为规范和可靠。这种方式确保了整个组织共享一个单一、可信的语义模型。
- • 知识库实践:Looker中的所有探索和可视化都直接构建于LookML模型之上。其AI功能,如Gemini in Looker,也完全依赖于这个强大的语义层来解析自然语言查询。当用户提问时,Gemini会利用LookML中定义的业务术语和关系来生成查询,从而保证了结果的准确性和一致性。
Looker平台通过LookML代码定义数据模型,实现“代码即语义”
2.5 其他主流工具的语义层方案
- • AWS QuickSight:利用其内存计算引擎SPICE实现高性能分析。其ChatBI功能由Amazon Q驱动,后者构建在Amazon Bedrock之上,能够创建数据摘要、回答问题和生成数据故事。语义层通过与Amazon Q的集成,利用生成式BI能力进行构建。
- • ThoughtSpot:作为搜索驱动分析的先驱,其核心是围绕自然语言查询构建的。它推出了Agentic Semantic Layer,一个专为AI智能体设计的动态、上下文感知的语义层。该层不仅包含传统的指标和关系定义,还能通过AI驱动的同义词索引和数据匹配,更智能地理解用户意图。
- • Holistics:明确使用一种名为AQL (Analytics Query Language)的建模语言作为其DSL。数据团队可以在其建模层中定义业务逻辑和抽象,从而为业务用户提供一个更易于理解和查询的数据视图。
三、企业知识库构建最佳实践
构建一个高效、可靠的企业知识库并非一蹴而就,它需要战略性的规划和持续的投入。以下是一套可供参考的实操指南。
3.1 奠定坚实基础:规范化数据准备
知识库的质量始于源头数据的质量。所谓“Garbage In, Garbage Out”,混乱的数据源必然导致AI产生幻觉。企业应首先关注:
- • 表结构规范:确保数据遵循标准的二维表格格式,不含合并单元格或多级表头。避免使用交叉表,应将其转换为堆叠格式,这更利于机器解析。
- • 表头与表值清晰:列名应使用简洁明确的业务术语,避免使用内部编码或含糊的缩写。单元格内的数值应保持类型一致,不混入单位或特殊符号。
- • 按主题创建数据集:将描述同一业务主题(如“进销存”、“用户行为”)的相关数据表整合为逻辑上的“数据集”。这能极大降低AI在多表查询时错误理解字段意图的风险。
3.2 丰富语义内涵:精细化内容管理
在规范的数据基础上,需要为数据注入丰富的业务语义,让其“活”起来。
- • 定义核心指标与维度:明确定义企业范围内的核心业务指标(如“活跃用户数”、“客户生命周期价值”)及其计算口径。使用维度建模技术,将数据组织成事实表和维度表,清晰描述业务过程和分析视角。
- • 建立业务术语词典(同义词管理):系统性地梳理并录入业务“行话”、“黑话”及其对应的标准数据字段。例如,将“客单价”映射为“平均订单金额”,将“新客”映射为“首次购买用户”。这是让ChatBI听懂业务语言的关键一步。
- • 文档化与元数据管理:为每个数据表、字段和指标提供清晰的描述和注释。这些元数据是RAG系统检索上下文、对抗幻觉的重要信息来源。
3.3 注入智能与活力:构建动态维护机制
知识库不是一个静态的资产,而是一个需要持续迭代和优化的生命体。
- • 引入人机协作反馈闭环(Human-in-the-Loop):当AI的回答不准确时,应建立机制让用户能够轻松地反馈和修正。例如,DataFocus的“小慧点赞”功能,允许用户修改AI的关键词解析结果并“点赞”保存,系统会在后续相似查询中参考此次修正。
- • 支持对话式知识沉淀:允许用户在与ChatBI的对话中,通过简单的指令(如“记住:金牌产品是指年销量排名前10的产品”)动态地向个人或系统知识库中添加新知识,实现知识的即时扩充。
- • 持续监控与审计:定期审计知识库的使用情况和AI查询的准确率,识别出常见的错误模式和知识盲点,并进行针对性优化。
结论
在ChatBI时代,企业知识库已不再是简单的元数据管理工具,而是驱动智能分析、确保结果可信、对抗AI幻觉的核心引擎。从DataFocus的自然语言原生架构,到Tableau的集成治理,再到Looker的代码化语义层,各大BI厂商虽路径不同,但都指向了同一个目标:构建一个强大、可靠的语义层,以释放AI在商业分析中的全部潜力。对于期望拥抱ChatBI的企业而言,投资构建一个符合自身业务特色、动态演进的企业知识库,将是实现真正数据驱动决策、赢得未来竞争优势的关键一步。
数据规范性分析框架在对话式商业智能产品中的应用探索
推荐语
探索数据规范性分析框架如何融合运筹学与大语言模型,为企业决策提供自动化、可解释的智能解决方案。
核心内容:
- 规范性分析框架的技术背景与行业驱动力
- 融合运筹学、统计学习与大模型的智能决策系统架构
- 在最优组合与动态定价场景中的20倍效率验证
正文
数据驱动与智能化快速发展的当下,高效解决复杂业务场景的决策问题成为各行业核心诉求。传统决策依赖人工经验或单一数学模型,难以全面覆盖数据时序特征、资源约束与业务需求,且建模耗力耗时。本文提出融合运筹学模型、统计学习方法与生成式大语言模型的规范性分析智能体框架,该框架经垂直行业应用验证,在提升决策效率、降低成本、优化资源利用等方面表现突出。本文旨在为自动化、可解释、高效的智能决策提供新思路,为构建可复用的行业解决方案奠定有效路径。
数据规范性分析框架在对话式商业智能产品中的应用探索
摘要:本文探索了数据规范性分析框架在对话式商业智能(Chat Business Intelligence,ChatBI)产品中的应用。该框架融合运筹学模型、统计学习方法与生成式大语言模型,通过自动建模与优化算法为决策提供量化最优方案。研究通过产品最优组合和动态定价两个典型场景验证其有效性:在线性规划问题中实现20倍效率提升;在半结构化场景中展示出自主规划与多技术融合的决策能力。结果表明,该框架能显著降低决策门槛,推动企业从描述性分析向规范性智能决策转变,为构建自动化、可解释的智能决策系统提供了技术路径与实践参考。
一
技术背景和驱动力
数据规范性分析的技术根基源于生成式大模型、智能体等多种先进计算技术的融合与成熟。它以成熟的预测性分析(依赖机器学习和统计模型)作为洞察未来的基石,进而引入运筹学优化算法和模拟技术,在复杂的业务约束下自动寻找并验证最优行动方案。同时,生成式人工智能技术和智能体技术的逐步成熟,使得数据规范性分析能够得以与现有的数据分析系统和工具进行深度结合,并真正形成一个完整、自动化智能决策系统。
从另外一个方面讲,在现今日益复杂的商业环境中,企业对决策质量和效率有着非常高的要求。不仅要回答“是什么”、“为什么”等现实问题,更要回答“将会发生什么”、“应该怎么做”等进一步的决策建议,进而推动企业从流程自动化迈向数据驱动的决策智能化,以在激烈竞争中保持优势以及最大化有限资源利用效率。
二
技术框架
毫无疑问,作为一种数据分析范式的规范性分析框架,其本质是一个集成了“感知-预测-优化-执行-学习”能力的、不断进化的智能决策过程和决策系统。它需要为用户提供可解释、可执行的决策建议,并且需要持续从决策的结果中学习,自动调整和优化模型,使其越来越智能和精准。
从产品和技术的实现逻辑视角分析,一个类Manus框架的决策分析智能体,以及基于GenAI技术的决策能力增强是实现规范性分析的两个必要条件。
(一) 类Manus框架的决策分析智能体
Manus架构可以通过规划、执行和验证三个子模块的分工协作,实现了对复杂任务的高效处理。这种Manus架构的智能体在完成表格数据分析报告任务时,可通过自动生成和调用算法模型,实现更深入的分析,通过自动调用三方或指定可视化组件,实现更丰富的展示,通过将取数、增强分析、可视化过程融合实现端到端分析流程。特别适用于轻量、明确的基于可靠数据的自动分析和可视化展示任务。
另外,该智能体还需具备强大的业务场景识别与分类能力,能够高效、准确地将用户的业务问题,分解为取数、场景分析、数据建模等典型的数据分析场景,以实现高效的业务问题路由。
(二) 基于GenAI技术的预测和决策能力增强
GenAI技术通过使用先进算法实时创建和评估各种潜在场景及决策规则,从而进一步增强预测性和规范性分析能力。该功能能够基于不同条件和参数快速模拟结果,使决策者更深入地理解潜在影响,并据此优化战略选择。
图1:通过GenAI进一步增强预测与规范性分析能力
三
技术预研:ChatBI产品应用
为了进一步评估和切实推进数据规范分析框架在亚信科技ChatBI产品中的应用,ChatBI产品组织了以验证产品引入规范分析框架是否可以有效降低决策成本、提升决策智能化程度和资源利用效率为目标的技术预研,并选择了两个典型的规范分析场景,然后建立完善的技术评估流程,最后通过POC的方式从中筛选出目前效果最佳的技术路线。
(一)场景选择
为全面评估规范性分析框架的能力边界,本研究选取了两个具有代表性的业务场景:
【场景1】 产品最优组合:典型的结构化优化问题,具有明确的目标函数和约束条件;
【场景2】产品动态定价:半结构化决策问题,涉及多因素分析和策略规划。这两个场景分别代表了企业运营中资源分配优化和收入管理优化两大核心领域,具备显著的业务价值和普适性。
1.场景1:产品最优组合
“产品最优组合”场景属于高度结构化的决策问题。该问题目标明确(利润最大化),约束条件清晰、量化(资源工时、最低订单),且存在可通过精确算法求得唯一最优解的数学模型(线性规划)。选取此场景的首要目的是验证规范性分析框架在解决具有明确数学表征的优化问题上的技术可行性、准确性与效率。
【场景描述】:xxx公司通过互联网为营利性企业和大学的研究人员制定(即安装、配置、验证)DL1和DL2两种用于人工智能和深度学习项目的计算设备或工作站。这两种工作站中,DL1的成本略地,功能稍差,安装也不那么复杂。在给客户发货之前,每台工作站都需要一定的安装实践和软硬件配置时间并经过完善的质量控制程序。表1所示是对每种工作站执行这三项任务所需要的时间。
表1:每种工作站的时间和任务汇总
每台DL1的售价为1400美元,利润率为25%;
每台DL2的售价为2375美元,利润率为20%。
公司有一些忠实的客户,他们每个月的总持续订单数为50台DL1和50台DL2。
这家公司希望确定每个月生产的产品组合情况,即DL1和DL2的准确数量,以便使每个月的总利润最大化。
2.场景2:产品动态定价
“产品动态定价”场景则属于半结构化或非结构化的决策问题。该问题虽然终极目标明确(利润最大化),但其实现路径涉及多因素(竞争对手、客户细分、价格测试)的交互影响,部分输入数据不确定,且不存在唯一的、封闭的最优解。选取此场景的目的,是检验框架在处理复杂、多步骤业务推理,以及综合运用多种分析技术以支持最优决策方面的能力。
该场景可模拟真实市场环境,选择零售领域的典型数据,通过参照竞争对手分析、客户细分和价格测试的多因素,动态制定最优价格的实现利润最大化测试,进一步验证ChatBI产品的复杂规划能力。
(二)POC环境准备
•ECS服务器:8C32G,500G;千兆以上网卡
•GPU:A100 - 80G显存的GPUX2
•数据:Kaggle
•模型:Qwen3-coder-plus, Qwen3-235b
(三)技术场景验证
1.产品最优组合分析
(1)验证目的
产品最优组合类验证场景,旨在验证ChatBI产品在面对典型的资源约束最优化问题时,能否通过其集成的规范性分析框架,实现从业务问题描述到数学建模,再到求解与业务解读的端到端自动化。
(2)验证场景与方法
验证采用对比分析法,选取经典的生产计划优化问题作为测试场景。该问题涉及在有限资源(硬件、软件、质量控制工时)约束下,确定两种产品(DL1, DL2)的最优生产组合,以实现利润最大化。
【对照组】:由具备运筹学知识的分析人员执行传统人工建模与求解流程。
【实验组】:由ChatBI探索分析智能体,通过自然语言问题描述相同问题自主规划自动分析。
(3)验证过程
· 对照组基于传统建模进行人工求解
针对产品最优组合问题,传统分析方法进行分布求解过程如下:
Step1: 确定决策变量
假设每月生产x台DL1、y台DL2。
Step2: 定义目标函数
DL1的单位利润 = 1400美元0.25,DL2的单位利润 = 2375美元0.2,
假设每月总利润为Z,则max Z = 350x+475y
Step3: 定义约束条件
5x+8y≦1200,3x+4y≦800,2x+2y≦400,
x≧50 ,y≧50
Step4: 创建线性规划模型和图形描述
分别以x为x轴,y为y轴,在二维空间确定可行解区域。
图2:通过图解法确定产品最优组合过程
Step5: 最优解结果,并人工梳理形成报告
当x=133.33,y=66.67 时,最大利润为78,333.33美元。
该求解过程总体耗时30分钟。
· 实验组基于ChatBI进行自主规划自动建模
针对同一问题,验证产品最优组合类问题在ChatBI,通过自然语言交互自主规划、自动建模生成决策的准确性与时效性。具体实现如下:
数据集:工作站数据集-探索分析
模型:Qwen3-Coder-plus
Query:若每台DL1的售价为1400美元,每台DL2的售价为2375美元。DL1的利润率为25%,DL2的利润率为20%。公司有一些忠实的企业客户,每个月至少生产50台DL1和50台DL2。帮我制定一个策略,使得每个月的总利润最大化。用python线性规范性分析算法分析。(该任务探索过程总耗时90秒)
图3:产品最优组合问题在ChatBI产品中的系统实现
图4:基于ChatBI产品进行产品最优组合的规范分析报告输出
(4)验证结果与讨论
·模型构建正确性验证
模型构建的准确性通过对比智能体输出与人工建立的标准数学模型进行评判, 如下所示:
表2:传统建模与ChatBI探索分析模型构建正确性结果对比
结论:在本次测试中,ChatBI成功识别并正确输出了所有决策变量、目标函数及约束条件,其自动构建的数学模型与人工标准模型完全一致。
· 数值求解准确性验证
表3:传统建模与ChatBI探索分析数值求解准确性结果对比
对模型求解结果正确性进行验证,得出结论:ChatBI 应用python scipy.optimize 方法自动建模输出正确的数值解,与基于标准算法的人工求解结果一致。
· 决策效率对比分析
表4:传统建模与ChatBI探索分析决策效率对比
对两种分析模式的耗时进行了记录与对比,得出结论:ChatBI通过自动化实现了决策效率的提升约20倍。
· 综合分析与讨论
技术可行性:
验证结果表明,该规范性分析框架在线性规划问题上实现了端到端的自动求解功能。其在模型自动构建(Model Auto-Formulation) 与数值求解两个关键环节均表现出与人工基准一致的准确性,证实了其处理线性规划类问题的技术可行性。
决策模式发生根本性转变:
本框架所实现的效率提升,其核心意义在于引发了决策模式的根本性转变。具体而言包括:
分析过程自动化:
框架通过自动化完成了从自然语言理解到数学建模,再到求解与报告生成的全过程。这标志着该任务的执行主体从依赖专业知识的分析人员,转向了由智能体驱动的自动化流程。
决策权前移:
这一转变使得业务人员能够直接发起并完成复杂的优化分析,从而显著降低了决策的技术门槛与时间成本。它在一定程度上解决了运筹学专家资源稀缺与企业广泛存在的优化需求之间的矛盾,提升了组织整体的决策敏捷性。
目前,适用边界与局限性仍有待探索: 本次验证仅在单一、结构良好的线性规划场景下完成。框架在处理变量离散、目标非凸等更复杂的优化问题(如整数规划、非线性规划)时的泛化能力、鲁棒性与求解效率,仍是未来需要系统性评估的关键问题。其在半结构化或非结构化决策场景中的有效性,也需进一步实证研究。
2.产品动态定价分析
(1)验证目的
为评估规范性分析框架在半结构化或非结构化决策问题中的能力,“产品动态定价”场景旨在测试框架如何综合运用多种分析技术,处理不存在唯一最优解、需通过探索与推理制定策略的复杂业务问题。
(2)验证场景与方法
本验证采用定性分析与定量指标相结合的方法,对ChatBI智能体处理复杂规划任务的能力进行全面评估,基于一个能力框架,检验智能体输出的合理性、完备性与可执行性。
(3)验证过程
· 数据集:retail_price.csv
· 数据来源:
https://www.kaggle.com/code/harshsingh2209/retail-price-optimization/notebook
· 模型:Qwen3-Coder-plus
· 问题:
帮我给当前的产品设置一个合理的价格以实现利润最大化,你需要运用多种技术手段优化定价策略,包括竞争对手分析、客户细分和价格测试。
· 流程:
Step1: 竞争对手分析,你需要需持续监测同类产品的市场定价并据此调整自身价格。
Step2: 客户细分分析,依据消费行为将顾客划分为不同群体,并针对各群体制定差异化定价策略。
Step3: 价格测试,需要尝试不同定价方案来确定利润最大化的价格点。
图5 产品动态定价问题在ChatBI产品中的系统实现
图6 基于ChatBI产品进行动态定价的规范分析报告输出
该任务决策过程总耗时134.45秒
(4)验证结果与讨论
本研究采用了如表5所示的评估标准,从任务分解与规划能力、技术方法与工具运用的合理性、洞察挖掘与策略生成能力、输出的结构化与可执行性、效率量化等5个维度进一步分析ChatBI产品的动态定价能力。
表5:基于ChatBI的产品动态定价评估
本研究通过动态定价场景的系统验证,证实了ChatBI框架具备处理复杂商业决策的三层核心能力:
任务规划层面能够将模糊业务目标拆解为逻辑严密的分析流程;技术执行层面可自主协调统计分析、聚类算法与实验设计等多种方法;策略输出层面能生成具有明确操作路径的差异化定价方案。
与线性规划场景验证结果相结合,本框架展现出覆盖从结构化优化到非结构化决策的完整能力谱系,具备作为企业智能决策统一平台的潜力。
然而,研究也揭示了三个关键局限性:首先,系统缺乏根据策略执行结果进行自我优化的闭环学习机制;其次,策略质量受训练数据中的领域知识制约,跨行业应用存在适应性挑战;第三,基于静态数据的分析模式难以满足动态定价所需的实时响应要求。这些局限性为后续研究指明了新的探索改进方向。
(四)POC技术结论
在简单的线性规划场景中,ChatBI有着更高效的决策效率。相比传统的数据分析方法,引入规范分析框架的ChatBI产品,显然有着更短的决策时间(30min VS 90s)和更高效的决策效率。ChatBI智能体,可实现业务场景的分类识别,以及自主规划执行,也可进一步提升分析的深度与广度,增强分析的可解释性。
而在需要参照竞争对手分析、客户细分和价格测试的多因素,动态制定最优价格的实现利润最大化的复杂规划场景中,ChatBI可进一步提升更高的决策智能化程度,提升资源的利用效率。ChatBI基于Agentic AI 的规范性分析框架具有较高的潜力与市场价值。
四
在ChatBI产品中的应用探索
POC验证充分表明,规范性分析框架在ChatBI产品中展现出广泛的应用前景与落地价值。在高度结构化的业务场景(如产品最优组合)中,该框架成功实现了从自然语言理解到数学建模、自动求解与业务解读的端到端自动化闭环,将传统需要30分钟的人工决策过程压缩至90秒,效率提升高达20倍。这不仅验证了其处理明确优化问题的技术可行性,更体现了其在标准化业务场景中替代人工建模的巨大潜力。
而在半结构化决策场景(如产品动态定价)中,框架进一步展示了其处理复杂业务逻辑的综合能力。通过自主任务分解,系统能够将“利润最大化”的模糊目标拆解为竞争对手分析、客户细分、价格测试等逻辑连贯的子任务;通过多技术融合,协调运用统计分析、聚类算法、价格弹性计算与实验设计等方法;最终生成兼具数据支撑与业务可操作性的差异化定价策略。这标志着ChatBI已初步具备处理非结构化决策、进行深度业务推理的能力,覆盖了从结构化优化到半结构化决策的完整谱系。
展望其应用前景,该框架可深度集成至ChatBI产品的智能决策引擎,拓展至供应链优化、营销资源分配、库存管理等多个企业核心领域,形成可复用的行业解决方案。其价值不仅在于单点效率提升,更在于推动企业数据分析范式从事后解释向事前引导的根本性转变,使业务人员能够直接发起并完成复杂的优化分析。未来,通过引入闭环学习机制、增强领域知识库、整合实时数据流,该框架有望进一步突破现有局限,最终成长为企业全域智能决策的统一平台,成为驱动企业数字化与智能化转型的核心基础设施。
从理论和实践的视角综合分析,规范性分析框架可以应用于ChatBI的产品应用实践中,可应用于任何需要在大规模复杂数据中做出高效、精准且自动化决策的领域。推动数据分析从“事后分析”转向“事前指导”,成为企业数字化和智能化转型的关键驱动力。并可在未来的产品开发过程中导入ChatBI产品的研发规划。
本研究通过实证验证了数据规范性分析框架在ChatBI产品中的可行性与价值。该框架不仅在线性规划等结构化问题中实现了高效、准确的自动决策,还在半结构化场景中展现出任务规划、多方法融合与策略生成的综合能力,显著降低了决策的技术门槛与时间成本。尽管在更复杂的优化问题与实时动态场景中的泛化能力仍需进一步探索,但本研究为企业级智能决策系统的构建提供了重要的技术参考与实践路径。未来,随着生成式AI与优化算法的持续演进,规范性分析有望成为企业智能化转型的核心引擎,推动数据驱动决策迈向更高效、更自主的新阶段。
ChatBI 实体标准查询名优化实战:如何将准确率从 80% 提升到 90%
推荐语
如何通过三层混合架构将ChatBI查询准确率提升10%?实战经验分享。
核心内容:
- 原有系统的三大痛点:维护成本高、准确率低、扩展性差
- 优化后的关键指标:准确率提升至90%,维护成本降低80%
- 核心解决方案:三层混合架构设计理念与实现路径
正文
> 一次 Text-to-SQL 系统的深度优化实践
一、痛点:维护成本高、准确率低
1.1 数据化的痛点
在我们的 ChatBI 智能问答系统上线了一段时间。在运营阶段,遇到了三个费时费力的核心问题:
问题1:海量别名维护成本极高
•维度值数量:系统中,汽车行业集团名称 70+ 个,车型名称 200+ 个,品牌名称 50+ 个•别名数量:每个实体平均 3-5 个别名,总计需要维护 1000+ 个别名映射•维护方式:高频查询内容硬编码在 LLM 的 Prompt 中,但是低频的查询不可避免的会出错•Prompt 长度: 大模型生成 SQL 提示词超过 5000 字,消耗大量 Token•新增成本:每增加一个车型,需要修改 Prompt 并重新测试,耗时 30 分钟 以上问题2:用户表达多样化导致准确率低
•初始准确率:仅 80%•典型失败案例:•用户输入 "byd" → 系统无法识别(未在 Prompt 中穷举)•用户输入 "传祺向往 S7" → 系统只认识 "S7"(别名组合未覆盖)•用户输入 "迪子" → 系统不知道是 "比亚迪汽车"(俚语别名未收录)问题3:扩展性差
•新车型上市:需要修改代码或 Prompt•新别名出现:需要重新部署•跨表查询:同一别名在不同表中可能对应不同标准名
1.2 量化的业务影响
•用户体验:每天约 15%=20% 的查询失败影响业务感知•运维成本:每周需要 2-3 小时 维护别名映射
二、效果:准确率提升至 95%,维护成本降低 90%
项目组大概用了 1 个月的时间,参考了行业诸多 N2SQL 类产品的解题思路。
在 dify 系统上,通过巧妙的 别名配置知识库优化+代码提取 ,实现了 查询准确性提升 和 维护难度降低 以及 响应时间缩短的多项指标成果。
2.1 核心指标对比
| 指标 | 优化前 | 优化后 | 提升 |
|---|---|---|---|
| 准确率 | 80% | 90%+ | +10% |
| Prompt 长度 | ~5000 字 | ~2500 字 | -50% |
| Token 消耗 | 高 | 中 | -30% |
| 新增车型耗时 | 30 分钟 | <1 分钟 | -90% |
| 维护成本 | 2-3 小时/周 | <30 分钟/周 | -80% |
| 响应时间 | ~2000ms | ~1000ms | -1000ms |
2.2 实际测试结果
测试规模:100+ 测试用例
测试结果:
•✅ "迪子2025 年 8月 销量" → 正确识别为 "比亚迪汽车25年8月的销量"
•✅ "changan 25年 8 月销量" → 正确识别为 "长安汽车 25 年 8 月的产量"
•✅ "广汽 S7 25 年 7 月销量" → 正确识别为 "广汽集团向往 S7 的批发量"
三、解决方案思路总览
3.1 核心理念:三层混合架构
我们采用了 "不穷举、分层处理、智能匹配" 的设计理念:
**用户问题** ↓【第一层】Prompt 约定(10-20 个核心高频词) ↓ 100% 准确,零延迟【第二层】RAG 知识库检索(中低频+长尾情况解决) ↓ 语义理解,自动召回 ↓ 无需穷举,自动处理标准化问题 → SQL 生成
3.2 技术架构
四、分步解决方案
步骤 1:构建实体别名知识库
1.1 按表分文件策略
我们为每个数据表创建独立的别名知识库文件:
为什么按表分文件?
•✅ 提高 RAG 检索精度•✅ 减少噪音干扰•✅ 易于维护和扩展
文件结构:
### 集团:比亚迪汽车**标准查询名**:比亚迪汽车 **常见别名**:比亚迪、BYD、byd、迪子 **所属表**:行业表 **字段名**:group_name
1.2 知识库配置
在 Dify 中创建知识库:
名称:实体别名库_全部文件:5 个 md 文件(行业表、批发表、终端表、产量表、库存表)配置: 检索模式:混合检索 权重设置:语义 0.7,关键词 0.3 Top K:3
关键配置说明:
•Top K = 3:确保召回的候选实体精度•混合检索:兼顾语义和关键词
步骤 2:构建实体链接处理器(30 分钟)
2.1 知识检索节点设计
在 Dify 工作流中添加知识检索节点:
2.2 RAG 实体解析(代码节点)
输入变量 arg1 :选择上一个节点输出的检索结果。
代码区域输入如下代码:
def main(arg1: dict) -> dict: return { "result": [item["content"] for item in arg1] }
输出变量:result,变量类型选择 Array [String]
步骤 3:修改 AI 生成 SQL 节点(15 分钟)
3.1 简化 Prompt
删除内容(约 2500 字):
## 二、组织和别名- **一汽集团**(又名 一汽、一汽汽车)- **长安汽车**(又名 长安)- **东风**(又名 东风集团)- **长城**(又名 长城汽车)- **悦达**(又名 悦达集团)- **零跑汽车**(又名 零跑)- **福特**(又名 福特汽车)- **小鹏汽车**(又名 小鹏)- **小米汽车**(又名 小米)- **蔚来汽车**(又名 蔚来)- **比亚迪**(又名 比亚迪汽车)- **上汽**(又名 上汽集团)- **吉利**(又名 吉利汽车)(删除所有硬编码的别名定义)
保留内容:
## 黄金准则 0-5(核心 SQL 生成规则)# 一、核心指标说明# 三、报表和字段说明(DDL)
3.2 修改知识检索
修改为:
{{#提取标准查询信息.result#}}
效果:
•Prompt 长度从 ~5000 字减少到 ~2500 字•Token 消耗减少 30%•LLM 理解更清晰,准确率提升
五、意义和价值
技术价值
1. 架构创新
•三层混合架构:代码字典 + RAG + 智能匹配•不需要穷举所有别名,维护成本降低 90%2. 可扩展性
•新增实体只需添加 Markdown 段落•支持批量导入和更新•易于跨团队协作3. 可复用性
•方案可应用于其他 Text-to-SQL 场景•代码节点可复用于其他 Dify 工作流•知识库管理模式可推广
六、后续优化方向
6.1 短期优化(1-3 个月)
1. 自动化补充
•目标:自动发现和补充新别名•方案:分析未匹配词,自动生成补充建议•预期:维护成本再降低 50%2. 跨表关联优化
•智能识别跨表查询•自动选择最优表组合•提升复杂查询性能3. 多模态支持
•支持语音输入•支持图表识别•支持自然语言 + 图表混合查询4. 智能推荐
•基于历史查询推荐相关问题•智能补全用户输入•提供查询优化建议5. 知识图谱集成
•构建实体关系图谱•支持更复杂的语义理解•提升准确率至 99%+
七、总结
核心经验
1不要试图穷举 - 只维护高频实体,依赖 RAG 处理长尾2分层处理 - 代码字典 + RAG + 智能匹配,各司其职3持续优化 - 监控数据,及时补充知识库4量化评估 - 用数据说话,持续改进
信任需要基础设施:如何让AI可靠的取数
推荐语
AI数仓取数易幻觉、缺信任?“AI+工程”方案构建可信基础设施,消除歧义、精准取数,推动数据开发转型! 核心内容:
- 数仓复杂性与AI取数难题:模型幻觉及信任缺失问题
- 解决方案核心:代号层+SQL引擎+Skill机制三位一体
- 方案价值:高效取数、数据开发转型及组织协作变革
正文
本文针对AI在复杂数仓环境中取数易产生幻觉、缺乏信任的问题,提出了一套“AI思考能力+工程确定性”的解决方案。通过构建标准化的“代号层”统一业务语义以消除歧义,利用确定性的SQL引擎将用户需求转化为精准SQL并处理权限隔离,同时借助Skill机制限制AI的自由发挥空间并增加可审计性,从而构建起值得信赖的AI取数基础设施;这不仅实现了从模糊需求到准确数据的高效获取,更推动了数据开发角色向高价值语义资产建设的转型及组织协作模式的变革。
取个数而已,为什么这么难? 从数据的角度,去看这个世界,获取到自己想要的信息
业务每天都会产生大量的用户行为数据,这些数据都经由数据工程师的加工处理放在数据仓库中,有了这些数据可以让我们的业务决策变得更加合理,科学。但是这些数据已经在数仓了,但是业务一般情况下还是要等较长的时间才能看到想看的数据,为啥取个数这么难呢?
为什么不能完全信任AI:数仓复杂性导致模型幻觉不断变大 ▐取数到底是在干什么
- #### 代号:物理事实的抽象代表
在语言学上,我们为了交流的方便,都会为一些复杂的东西,起一些代号,这些代号是物理事实的抽象代表,代号在我们的生活中处处可见,比如各种名称:人名、地名、物名等等。
在本文中取数语境中的核心代号都代表什么的含义。先看下两个核心抽象的代号:指标是什么:业务主体行为的度量;维度是什么:业务主体行为发生的环境。指标名、维度名是具体的代号。比如"用户在直播平台成交了多少钱"这个业务度量的代号是"成交金额","用户从哪种方式进入直播的这个行为环境"是"渠道名称"这个代号,这些代号就代表的是具体业务,都是具体的、真实的事件行为。很多约定俗称的代号,不用沟通解释大家都能对齐,但是一些专业的代号,或者一些事件行为,没有一些标准的代号名称,我们如果用这些各自理解的代号去沟通,去交流,那我们很难去沟通交流
- #### 真实场景
1)比如现在用户需要一个成交金额,数仓中刚好只有一个成交金额,我们就默认这个就是用户想要的那个成交金额,直接找到成交金额的这张表,基于这个表来组装出来SQL然后去执行,SQL执行返回结果
2)现在问题复杂了,用户说我要gmv,但是数仓中只有成交金额,我们就要去问,我们只有成交金额,你要的是不是成交金额,我们来说明下成交金额描述的事实行为,用户说下他想要的事实行为,达成一致,找到成交金额的这张表,基于这个表来组装出来SQL然后去执行,SQL执行返回结果
3)接着,用户说我要gmv,但是数仓中有两个成交金额的指标,但是计算方式不一样(一个限制了 字段A= 'Y',一个没限制),又要去问,你想要的成交金额是怎么计算的,这两个指标的代表的事实行为是啥(数据口径是啥),是不是你想要的计算方式,好的,用户明确了我要限制字段A='Y'的,好的找到字段A = 'Y' 的那个指标口径,写出一段SQL,SQL执行返回结果
- #### 流程抽象
其中的核心流程是:用户说他要什么(一个代号),这个代号代表一个业务行为的度量方式。数仓有什么(一堆代号),这些代号都分别代表的业务行为的度量方式,其中还有很多不同的度量方式,用着同一个代号。有时候用户说的代号和数仓中的代号是对齐的,但绝大多数是对不齐的,代号对齐了,还要明确代号所代表的具体的事实行为是不是对齐了。这部分对齐是取数的第一步,明确清楚业务想要的是哪个具体代号。第二步,写一个SQL,将这个代号的数据取出来
取数流程中有一个最核心的矛盾点:同一个东西的代号没有标准、没有达成共识
▐AI独立来完成取数 现在是要AI来完成这一流程:用户说出他想要的代号,AI进行语义理解,理解了用户想要什么。AI理解数仓,数仓中都有什么代号,并且理解清楚每个代号的具体含义。理解清楚之后将用户需求的代号和数仓中的一个代号匹配起来了,然后写一条SQL 返回给用户。在小批量表并且取数需求相对简单的场景下,AI的发散空间相对较小,单独使用AI完成这一流程,可信度还是比较高。但是在复杂的场景下,AI在完成这一流程的过程中就会遇到很多问题,首先AI理解用户语义,这个是AI理解自然语言的能力,模型本身的能力,这个强弱我们无法控制。但是接下来AI要理解数仓中的事实行为代号,理解完要写SQL,就会出现较大的问题
- #### 理解数仓很难避免幻觉
数仓是业务的数据抽象,业务的不断发展变化,业务的看数视角是不断变化的,决定了数仓是不断变化的,这些变化体现在数仓中就是:数据的事实行为描述越来越多、数仓不断的冗余、数仓表的不断膨胀,复杂性极大,具体到业务需求不知道应该用哪一种计算方式,只能不断的去确认沟通,这样的数仓复杂性,多义性让AI理解的话,幻觉极大,很难正确理解数仓中事实行为代号(数据口径)的现状
- #### 写出SQL更难避免幻觉
基于第一层理解数仓数据口径的基础上,叠加真实的取数需求,进入第二个问题:AI怎么写SQL。数仓是冗余的,同一个指标代号的计算方式是多样的,决定了取数SQL会涉及到很多的选择决策,比如指标计算口径确定、表选择,维度计算口径、表选择、数据筛选等等。这一步需要在第一步的基础上,再理解需求,进行很多的SQL决策,才能写出来一个语法正确、语义正确的SQL
AI 可以生成语法完美但语义错误的 SQL ,通过各种手段可以在很大的程度上做到70%,80%,甚至90%的正确率。这些正确率,听起来是好的,在评测的领域中就很好的成绩,但是在生产环境中呢,也就是意味着永远有错的可能,而用户是不知道这一次是对的,还是错的
此外,取数系统能发挥出最大的价值的点在于:这套系统的用户不是数据开发,而是运营、产品、分析师,甚至是 AI Agent 本身 ,他们无法判断一段 SQL 是否完全语义正确。如果系统的可靠性依赖于"有人会审 SQL"这个前提,用户并没有被解放,SQL必须无须确定,用户只确认,语义自己是不是想要的,只确认业务方面的知识,不需要关心这个数怎么取
各取所长:AI的思考能力+工程的确定性
AI不擅长的事情:精准的完全确定的输出;工程擅长的事情:确定性的输入产生确定性的输出,用工程的强确定性来弥补AI的不确定性
针对AI怎么理解数仓中的事实行为代号?我们对数仓进行抽象规整,建设代号层,让AI有一个清晰、易用、便于理解的数据
针对AI怎么写SQL?我们将写SQL的复杂性屏蔽掉,只让AI输出用户的需求,构造一个查询请求(轻量级的JSON),工程将查询请求翻译为确定性SQL
### ▐整体流程图
### ▐为什么值得信任
每一环都有明确的角色来确认,保证整体流程可靠、值得信任
- #### 各环节的判断力
在代号对齐环节,用户需要判断这个代号是不是自己想要的
在代号数仓映射环节,数仓同学需要判断这个代号在数仓中的口径是什么
在SQL引擎生成环节,SQL引擎需要判断SQL的组织是不是语法语义正确的
- #### 对用户的要求有所变高
在现在的全链路协作的过程中,用户可以提一个相对模糊的取数需求,或者说截一个图,或者说可以给某某去确认,研发的主观能动性,会去通过各种方式,和用户沟通收集信息把这个需求澄清完毕。但是现在AI取数系统的流程中需要用户自己根据AI理解代号层的结果,然后和用户对齐代号,用户需要对AI对齐的代号有判断力,要和AI对齐自己的真实意图。这其中也变相对我们的代号层的质量有很高的要求,不能有二义性,要具有含义代表唯一性
### ▐通过AI Agent平台直接使用
Skill作为现在Agent主流的扩展能力,在任何的平台都可以集成使用,同样的我们的取数技能在Claude Code、Qoder等Agent平台上都可安装使用
代号层 — 让同一个东西的代号有标准、达成共识
业务行为的标准、唯一的数据代号化表达。比如"在直播间成交的金额" 这个业务行为的代号就是"成交金额",只有这样的一个名称
代号集,定义的就是这样一个映射关系,本质也是一个字典。通过这个直播数据大字典,我们可以对很多直播下事实达成共识,用一种代号来表达。我们基于阿里巴巴这个词沟通就不会有歧义,因为大家都知道阿里巴巴代表的是什么物理世界的东西。战争时代通过无线电进行发报,也要按照统一的密码来进行沟通,沟通双方也要定义好双方共同认可的密码本
### ▐在系统中的定位
对于系统中的AI来说,代号层就是一个沟通的共识层,"统一了直播数据事实的文字",让AI和用户可以用同样的一种语言和用户沟通,解决取数中代号对齐问题
对于系统中的SQL引擎来说,代号层就是一个数仓映射层,让代号回归到数仓,让代号具体落实到数字物理世界,解决取数中SQL书写问题
### ▐代号层的结构如何
我们以逻辑表为核心来构建我们的代号层。逻辑表就是整个代号层的骨架,从整个数仓的角度来说,本质是对业务过程的又一次抽象
### ▐真实的数仓怎样挂载到代号层
对于同一个代号,数仓中都是有好几份的,是冗余存储的,冗余存储是数仓的一个核心特性
从大的逻辑上来说,核心分为事实表和维表。其中事实表是按照业务过程的来组织的表,业务过程就是业务时间行为的抽象集合。比如成交的业务过程,有明细表、各粒度的dws汇总表;同样的观看业务过程,有明细表、各粒度的dws汇总表。维度表核心有:各个实体的维表。比如主播维表、用户维表、商品维表等等。这个就是数仓的骨架部分,是这个数仓的核心
表所承载的都是维度和指标。这些维度和指标都是上文中代号的具体的数仓实现。比如成交金额这个代号,就在成交业务过程的明细表中的一个字段、在dws汇总表中的一个字段。这些具体的表字段,成交金额这个代号在数仓中的事实体现。也就是说,用户需要成交金额这个代号的时候,我可以给用户其中的任意一个都是对的,都是同一个事实的表达。所以数仓中的这些字段都会绑定在成交金额的这个代号上。同样的维度也是,同一个维度代号也是在数仓中的很多地方都是有的,很多数仓事实字段都可以表达出来这个代号
我们的代号是按照业务过程的标准组织的,如果真实的数仓也按照这个组织的标准去建设的话,那很完美的就可以进行对接。但是如果不标准,其实也没问题,只要能从标准中的数仓中抽象出来这些代号的具体实现就行。我们的代号层也设计了字段映射,自定义CTE等功能,来从逻辑上讲不标准的数仓,挂载到标准的代号层
SQL引擎 — 如何去写出来取数的SQL
在真实的数仓中,写SQL,也是一件看似简单,其实有超级多的细节选择的问题,并且都是确定性的规则,工程是最佳的,最值得信任的保障
用户通过和AI的交互,已经从标准的统一的代号库里面,取到了他想要的那一个代号,这个代号已经唯一确定了,接下来的核心动作就是拿到这个唯一的代号,从已经挂载到这个代号层的物理数仓,拿到这个统一的代号集,然后根据具体的实现方式,构建出来一条SQL
## ### ▐代号在数仓中具体化、唯一化
整体的选择的目标就是:在能正确满足需求的情况下,找到一种最快的计算方式,也就是找到一种参与计算数据量最小的一种方式。选择整体分为两步:
- 收集本次需求的具体数仓要求
- 在满足要去的表中,选择一张最优的
## ### ▐SQL组织
上面通过收集要求、按照数仓加工规则选择出来每个代号的具体表达,接下来就是按照标准SQL语法,将这些进行SQL组织。其中也有很多的细节,比如筛选提前做。如果有关联需要关联维表,还要确定关联方式。派生指标要先加工原子指标,先加工限定词,然后再后面的一层加工。如果有limit 还有需要在结尾添加limit语法
## ### ▐监控分析
有了这一套SQL引擎工程体系,我们将用户的查询记录下来。我们可以中心化将这些请求的日志,忠实的记录下来,然后做一些常用DSL的分析,工程稳定性的监控,为后续的数仓迭代,DSL能力覆盖范围迭代、评测系统构建等场景提供数据源支持
Skill:将AI拴在流程的笼子里
AI很强,但是很容易乱干,自以为是的去干,要设计一套让AI沿着工作的流程
## ### ▐门禁机制
有了上面的确定性的基础,我们怎么让AI确定的生成我们要的JSON结构呢?在这一步的核心风险点是,AI自己去查资产层会出现二义性或者多义性的情况。
在出现高歧义的情况下,必须要停下来去向用户确认,必须要遵循这个前提,不允许自己做决定。在生成SQL的过程中,AI只需要拿到工程生成的SQL,不允许修改任何SQL,一边需要用户确认,另一边生成的SQL不允许修改,最大限度的缩小AI发挥的空间
## ### ▐可审计回溯
我们在很多的关键流程节点都增加了过程留痕,比如查询到实体需要留痕、生成的JSON要保存下来、生成的SQL要保存下来,让每一步都可以追溯,AI也可以自己检查
## ### ▐钩子机制
在现在的Agent平台上,不管是Claude Code、Qoder、Codex都会有工程钩子的设计,这些让Agent在执行到某些动作的时候直接强制执行某段逻辑,让AI的可靠性持续增强
回到信任
## ### ▐信任不是给予的,是构建的
设计让AI值得信任的系统:我们的这套系统正式构建了一个值得信任的基础设施,我们整个系统也是一套AI系统。不管是语义层的基建,工程引擎的确定性生成,还是Skill中的门禁等等,都是为了信任而构建的一全套基础设施。在AI时代,从AI系统的角度来说,工程师最重要的能力不是使用 AI,而是设计让 AI 值得信任的系统
信任基建可以参与构建其他的信任系统:有了AI取数的这个值得信任的基建,下游数据消费想象空间非常丰富。运营、产品各个业务就可以直接快速的获取到自己想要的数据;下游的分析Agent可以直接对接我们的这个取数skill,直接产出分析结论;更进一步,甚至运营工作台也可以接入,看取数基建作为行为系统的一部分,信任基建可以参与构建其他的信任系统
## ### ▐传统协作关系的变革
研发工作重心变革:信任的不断建立,让数据开发同学从"写 SQL 的人"变成了"建语义层的人",核心工作从重复性的取数开发,转变为高价值高复用性的语义资产建设和数据质量管理
组织协作变革:随着技术的发展,信任程度越来越高,一台机器可能重塑一个行业的协作方式:比如一台印刷机就代替了传统的印刷行业,印刷的效率极大提高,让用户更专注于你要印什么,而不用花太长时间去和印刷工人沟通交流这些要怎么排版,去怎么印,这个用户自己在印刷机就可以自行决定,让价值更着眼在用户要印什么~~~
Dify实战:不用写SQL,问就行
推荐语
告别繁琐SQL语句,用自然语言轻松查询数据库,Dify助你实现零门槛数据交互!
核心内容:
- Dify实现自然语言转SQL的架构原理
- 测试数据库准备与只读账号创建
- 数据库插件安装与Agent应用配置
正文
不用Navicat、不用写SQL,问一句就出结果;今天我们来用dify搭一个自然语言查数据库的助手👇
01 先看看效果
架构原理
流程很简单:你问 → AI转成SQL → 查数据库 → 给你结果
02 准备工作
动手之前,先做两件事:准备一个测试数据库,再装个插件
2.1 准备测试数据库
为了演示,我们创建一个简单的产品表,执行这段SQL
-- 创建测试数据库CREATE DATABASE IF NOT EXISTS dify_demo;USE dify_demo;-- 创建产品表CREATE TABLE products ( id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(100) COMMENT '产品名称', category VARCHAR(50) COMMENT '产品分类', price DECIMAL(10,2) COMMENT '价格', stock INT COMMENT '库存数量', created_at DATETIME DEFAULT CURRENT_TIMESTAMP);-- 插入几条测试数据INSERT INTO products (name, category, price, stock) VALUES('机械键盘', '外设', 299.00, 150),('游戏鼠标', '外设', 89.00, 300),('4K显示器', '显示设备', 1999.00, 50),('降噪耳机', '音频', 499.00, 80),('无线充电器', '配件', 99.00, 200);
创建完成
2.2 创建只读账号
强烈建议用只读账号,万一AI理解错了,不至于把数据删了
-- 创建一个只能查询的账号CREATE USER 'dify_reader'@'%' IDENTIFIED BY '你的密码';GRANT SELECT ON dify_demo.* TO 'dify_reader'@'%';FLUSH PRIVILEGES;
2.3 安装数据库插件
Dify插件市场里有现成的数据库连接工具,登录Dify,点顶部「插件」→「插件市场」
搜索「Database」或「MySQL」
安装数据库连接插件
装完后,插件会出现在插件列表里
2.4 配置数据库连接
插件安装完成后,回到Agent应用编排页面,在「工具」区域点击「添加」,选择刚安装的database插件
配置数据库URI👇
我的 Dify 部署在 VMware 虚拟机上,192.168.1.2 是本地 Windows 电脑的 IP
mysql+pymysql://dify_reader:123456@192.168.1.2:3306/dify_demo
配置完成
03 创建Agent
3.1 创建应用
点「工作室」➔「创建空白应用」,应用类型选「Agent」
名称写「SQL查询助手」,点创建
3.2 选模型
选择已经配好的大模型,我用的是DeepSeek
3.3 写系统提示词
把下面这段复制到「提示词」框里
你是一个 SQL 查询助手。用户会用自然语言提问,你需要根据数据库表结构生成 SQL 并查询。## 数据库表结构products 表:- id: 产品ID (INT)- name: 产品名称 (VARCHAR)- category: 产品分类 (VARCHAR),可选值:外设、显示设备、音频、配件- price: 价格 (DECIMAL)- stock: 库存数量 (INT)- created_at: 创建时间 (DATETIME)## 规则1. 根据用户问题,生成对应的 SQL 查询2. 只生成 SELECT 查询,禁止 UPDATE、DELETE、INSERT3. 查询结果用自然语言回复用户4. 如果用户问题与数据库无关,礼貌告知无法回答## 示例用户问:最贵的产品是什么?回复:最贵的产品是「4K显示器」,价格 1999 元。用户问:库存低于100的有哪些?回复:以下产品库存低于100:4K显示器(50件)、降噪耳机(80件)。
上面是单表示例,多表场景请看第06节
3.4 添加工具
在「工具」区域,database插件列表中,添加「Text to SQL」 和「SQL Execute」
然后点右上角「发布」
04 测试效果
测试一:简单查询
产品列表有哪些?
测试二:条件筛选
库存低于100的产品有哪些?
测试三:聚合查询
最贵的产品是什么?
测试过程中如果遇到问题,别急,下面是几个常见坑和解决办法👇
05 常见问题
1. 连不上 MySQL,提示权限拒绝
检查两件事:
① Windows 防火墙是否允许了 3306 端口
② MySQL 是否允许远程连接
-- 查看用户允许的访问来源SELECT user, host FROM mysql.user;-- 如果 dify_reader 的 host 是 localhost,改成 %UPDATE mysql.user SET host = '%' WHERE user = 'dify_reader';FLUSH PRIVILEGES;
2. 提示认证方式不兼容
MySQL 8 默认用 caching_sha2_password,pymysql不兼容,执行
ALTER USER 'dify_reader'@'%' IDENTIFIED WITH mysql_native_password BY '123456';FLUSH PRIVILEGES;
3. AI 不调用工具,直接瞎回答
提示词里没有明确告诉 AI 要用工具,在指令里加上
当用户问数据库相关问题时,你必须使用 Text to SQL 和 SQL Execute工具来查询,不能自己编造答案。
06 多表场景怎么办
上面演示的是一张表,提示词里把表结构写死了,但如果数据库里有几十上百张表,总不能全写进去吧?
这时候就需要动态获取表结构,database插件里有个「Get Table Schema」工具,可以自动读取数据库里所有表的结构,不需要手动写。
6.1 添加工具
回到Agent编排页面,在「工具」区域把「Get Table Schema」也勾选上
6.2 改造提示词
把「指令」框里的内容换成下面这段
你是一个 SQL 查询助手。用户会用自然语言提问,你需要查询数据库并返回结果。## 工作流程1. 先用 Get Table Schema 工具获取数据库中的所有表结构2. 根据用户问题,找到相关的表3. 用 Text to SQL 生成 SQL 语句4. 用 SQL Execute 执行查询5. 用自然语言回复用户## 规则- 只生成 SELECT 查询,禁止 UPDATE、DELETE、INSERT- 如果用户问题与数据库无关,礼貌告知无法回答
这样表结构就不用再手动写了,AI会自己先去查一遍
数据库里咱们再加两张表👇
6.3 测试一下
重新发布后再测试一下
数据库里有哪些表
数据库里有哪些表,只告诉我表名就可以
07 写在最后
回顾一下今天做的事:
- 准备测试数据库和表
- 创建只读账号
- 安装 database 插件,配置连接
- 创建 Agent,写提示词,添加工具
- 测试查询效果
- 多表场景升级:用 Get Table Schema 动态获取表结构
以后查数据,不用开 Navicat,不用写 SQL,直接问就行。
这套方案的核心是👇
给AI足够的上下文 + 正确的工具 = 自然语言查数据库
Dify实战:构建Text2SQL(NL2SQL)智能查询数据库并生成图表工作流
推荐语
用自然语言就能查询数据库并生成图表?Dify平台让Text2SQL技术轻松落地,实现无代码数据智能分析。
核心内容:
- Text2SQL技术原理与典型应用场景解析
- 基于Dify平台的系统实现方案与核心组件
- 从数据库创建到可视化展示的完整工作流演示
正文
技术背景
Text2SQL(自然语言转结构化查询语言)技术通过以下流程实现数据库智能查询:
-
自然语言输入:用户用日常用语提问(如"查询平均工资超过公司平均水平的部门")
-
语义解析:系统解析问题的语义结构
-
SQL生成:自动转换为可执行SQL语句
-
结果反馈:执行查询并返回可视化结果
典型应用场景
-
商业智能:非技术人员自助数据查询
-
教育系统:学生成绩统计分析
-
医疗管理:病历数据快速检索
系统实现方案
核心组件
-
dify平台:提供AI应用开发框架(需1.0.0+版本支持)
-
Database:此工具用于在已存在的数据库中执行 SQL 查询。
-
ECharts:负责生成可视化图表
-
Mysql:负责数据存储
-- 创建数据库(例如命名为 sales_data)CREATE DATABASE IF NOT EXISTS sales_data;-- 使用该数据库USE sales_data;-- 创建销量表CREATE TABLE IF NOT EXISTS sales ( id INT AUTO_INCREMENT PRIMARY KEY,date VARCHAR(7) NOT NULL,-- 存储格式为 'YYYY-MM' sales_volume INT NOT NULL-- 销量数据);-- 插入销量数据INSERTINTO sales (date, sales_volume)VALUES('2025-06',2118845),('2025-05',1958667),('2025-04',1772119),('2025-03',1955204),('2025-02',1397009),('2025-01',1800235),('2024-12',2649128),('2024-11',2438092),('2024-10',2271670),('2024-09',2116925),('2024-08',1913002),('2024-07',1725174),('2024-06',1769462),('2024-05',1716443),('2024-04',1541842),('2024-03',1691118),('2024-02',1111541),('2024-01',2034527),('2023-12',2360143),('2023-11',2077155),('2023-10',2032470),('2023-09',2019445),('2023-08',1922495),('2023-07',1781580),('2023-06',1894250),('2023-05',1685966),('2023-04',1635995),('2023-03',1593454),('2023-02',1396501),('2023-01',1295097);
以上为本案例数据准备。
技术限制
-
复杂嵌套查询准确率有待提升
-
多表关联查询需要明确语义关系
实施步骤
工作流搭建
工作流节点链
- 开始节点(无输入配置)2. LLM:模型这里我们选择了硅基流动DeepSeek V3模型,实现自然语言生成SQL语句。
## 角色 你是一个专业的SQL生成专家,需要根据用户生成标准的mysql数据库的SQL。 ### 任务 请根据用户问题生成 SQL 查询语句。数据库的信息如下:-- 创建数据库(例如命名为 sales_data)CREATE DATABASE IF NOT EXISTS sales_data;-- 使用该数据库USE sales_data;-- 创建销量表CREATE TABLE IF NOT EXISTS sales ( id INT AUTO_INCREMENT PRIMARY KEY, date VARCHAR(7) NOT NULL, -- 存储格式为 'YYYY-MM' sales_volume INT NOT NULL -- 销量数据);### 要求: 1. 确保 SQL 查询语法正确,并考虑性能优化。2. 只要输出sql查询语句,禁止输出其它内容。
- SQL Execute使用到SQL Execute工具,执行数据库查询。我们可以在marketplace.dify.ai/plugins/hjl… 市场上找到这个项目,目前这个项目支持的数据库有
mysql,postgresql,sqlite,sqlserver,oracle。
4. 参数提取器节点,用于提取图表生成数据,4个变量分别为date,sales,title,content。
-
柱状图节点,用于生成图表,标题、数据、X轴分别填入上一个节点的输出内容。
-
模板转换节点,用于拼接柱状图和数据分析
7.回复节点输出最终结果
- 效果验证
| 验证维度 | 查询语句 | 结果准确性 |
|---|---|---|
| 基础查询 | "查询2025年销量数据" | 返回准确统计结果 |
| 复杂查询 | "统计2024年平均销量,按降序排列" | 生成包含GROUP BY和ORDER BY的复合SQL |
技术优势
- 零代码实现:通过可视化配置完成复杂NLP功能
- 多数据库支持:兼容MySQL、PostgreSQL、Oracle等主流数据库
LangChain + MCP 构建带可视化图表功能的ChatBI智能体
推荐语
如何用LangChain和MCP打造能自动生成可视化图表的ChatBI智能体?本文手把手教你实现数据分析+可视化的完整流程。
核心内容:
- 基于COVID-19疫情数据构建ChatBI+可视化智能体的完整实现流程
- 使用ModelScope的MCP-Server实现图表可视化功能
- 通过FastMCP自定义实现Covid19查询服务的实战案例
正文
一、实现流程介绍
在本专栏的前面文章中,介绍过基于 LangChain + MCP 和 SpringAI + MCP 构建 ChatBI 智能体,但未对数据进行可视化图表的分析,而可视化图表是数据分析的重要组成部分,它能够将复杂的数据转化为直观易懂的图形表示。因此本篇文章基于 LangChain + MCP 实验构建 ChatBI + 可视化图表 综合的智能体。
使用数据说明
其中分析数据采用数据采用 COVID-19 测试案例,包括:美国 2021-01-28 号,各个县county的新冠疫情累计案例信息,包括确诊病例和死亡病例,数据格式如下所示:
date(日期),county(县),state(州),fips(县编码code),cases(累计确诊病例),deaths(累计死亡病例)2021-01-28,Pike,Alabama,01109,2704,352021-01-28,Randolph,Alabama,01111,1505,372021-01-28,Russell,Alabama,01113,3675,162021-01-28,Shelby,Alabama,01117,19878,1412021-01-28,St. Clair,Alabama,01115,8047,1472021-01-28,Sumter,Alabama,01119,925,282021-01-28,Talladega,Alabama,01121,6711,1142021-01-28,Tallapoosa,Alabama,01123,3258,1122021-01-28,Tuscaloosa,Alabama,01125,22083,2832021-01-28,Walker,Alabama,01127,6105,1852021-01-28,Washington,Alabama,01129,1454,27
下载地址如下:
https://github.com/BIXUECHAO/covid-19-tes-data/blob/main/us-covid19-counties.csv
整体实现过程如下所示:
其中可视化图表能力采用 ModelScope 上公开的 MCP-Server,地址为:
https://modelscope.cn/mcp/servers/@antvis/mcp-server-chart
连接方式:
{ "mcpServers": { "mcp-server-chart": { "type": "sse", "url": "https://mcp.api-inference.modelscope.net/530c948576c248/sse" } }}
Covid19 Query MCP Server 则是通过 FastMCP 来自定义实现。大模型端采用 OpenAI 的 GPT-4.1 模型,你也可以换成其他支持工具调通的模型。
实验最终实现的效果如下所示:
提问: 找出确诊人数前五名的州,按饼图的方式绘制给我
提问: 根据每个县的确诊人数取Top10,以柱状图的方式呈现给我
本次实验所依赖的版本如下所示:
mcp==1.9.2openai==1.75.0langchain==0.3.25langchain-openai==0.3.18langgraph==0.4.7pymysql==1.0.3
二、搭建 数据查询 MCP Server
首先创建数据表,并导入上述数据:
CREATE TABLE `us_covid19_counties` ( `date` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '日期', `county` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '县', `state` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '州', `fips` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '县编码code', `cases` int DEFAULT NULL COMMENT '累计确诊病例', `deaths` int DEFAULT NULL COMMENT '累计死亡病例') ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='COVID-19 案例';
实现数据库操作,这里仅仅做了数据库交互,实际使用时应考虑很多性能细节的优化:
utils_db.py
import pymysqldefget_conn(): return pymysql.connect( host="127.0.0.1", port=3306, database="test3", user="root", password="root", autocommit=True )defquery(sql): conn = get_conn() cursor = conn.cursor() cursor.execute(sql) columns = [column[0] for column in cursor.description] res = list() for row in cursor.fetchall(): res.append(dict(zip(columns, row))) cursor.close() conn.close() return res
创建数据查询 MCP Server,这里实现了两个 MCP Tools, 分别是获取表 Schema 和 执行SQL 两个操作:
import jsonfrom mcp.server.fastmcp import FastMCPimport utils_dbmcp = FastMCP("COVID-19-DB-Query-Mcp-Server")schema_sql = """SELECT COLUMN_NAME, DATA_TYPE, COLUMN_COMMENT FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_SCHEMA = 'test3' AND TABLE_NAME = '{table}'"""effective_tables = ["us_covid19_counties"]@mcp.tool()defget_table_schema() -> str: """获取当前有效表的 MySQL Schema, 生成SQL之前,你应该使用该工具获取完整的表结构""" table_schema = [] for table in effective_tables: schemas = utils_db.query(schema_sql.format(table=table)) schemas = ", ".join([f"{s['COLUMN_NAME']} {s['DATA_TYPE']} COMMENT {s['COLUMN_COMMENT']}"for s in schemas]) table_schema.append(f"TABLE `{table}` ({schemas})") return"\n\n".join(table_schema)@mcp.tool()defrun_sql(sql: str) -> str: """执行MySQL SQL语句查询数据,一次仅能执行一句SQL!""" try: returnstr(utils_db.query(sql)) except Exception as e: returnf"执行SQL错误:{str(e)} ,请修正后重新发起。"if __name__ == "__main__": mcp.settings.port = 6030 mcp.run("sse")
启动 MCP Server:
三、LangChain MCP Client 智能体构建
LangChain 官方关于 MCP 的集成介绍文档如下:
https://langchain-ai.github.io/langgraph/Agents/mcp/
关于MCP的连接,通过 MultiServerMCPClient 抽取出所有的 MCP Tools ,然后交给 create_react_agent 构建智能体。
实现过程和本地控制台测试逻辑如下:
import os, configos.environ["OPENAI_BASE_URL"] = "https://api.openai.com/v1"## 支持openai协议的 API BASEos.environ["OPENAI_API_KEY"] = "sk-xxxxx"## 你的API KEYfrom langgraph.prebuilt import create_react_agentfrom langchain_mcp_adapters.client import MultiServerMCPClientfrom colorama import Fore, Styleimport asynciofrom langgraph.checkpoint.memory import InMemorySaverasyncdefmain(): client = MultiServerMCPClient( { "chart": { "url": "https://mcp.api-inference.modelscope.net/530c948576c248/sse", "transport": "sse" }, "covid19-query": { "url": "http://127.0.0.1:6030/sse", "transport": "sse" } } ) tools = await client.get_tools() checkpointer = InMemorySaver() agent = create_react_agent( "openai:gpt-4.1", tools, checkpointer=checkpointer, prompt="You are an AI assistant that helps people find information." ) config = { "configurable": { "thread_id": "1" } } whileTrue: question = input("请输入:") ifnot question: continue if question == "q": break asyncfor chunk in agent.astream({"messages": [{"role": "user", "content": question}]}, stream_mode="updates", config=config): if"agent"in chunk: content = chunk["agent"]["messages"][0].content tool_calls = chunk["agent"]["messages"][0].tool_calls if tool_calls: for tool in tool_calls: print(Fore.YELLOW, Style.BRIGHT, f">>> Call MCP Server: {tool['name']} , args: {tool['args']}") else: print(Fore.BLACK, Style.BRIGHT, f"LLM: {content}") elif"tools"in chunk: content = chunk["tools"]["messages"][0].content name = chunk["tools"]["messages"][0].name print(Fore.GREEN, Style.BRIGHT, f"<<< {name} : {content}")if __name__ == '__main__': asyncio.run(main())
运行测试:
提问:统计的确诊数量前十名的州,以折线图的方式展示
四、封装为 OpenAI 协议接口
上述已经通过控制台实现了完整的 Agent 交互过程,下面继续改造逻辑,使用 FastAPI 封装为 OpenAI 协议接口,便于在客户端使用。
注意:这里主要为实现功能,api_key 写死在程序中为: sk-da4b6cb4a41e4cascascasc9508deb556942 (随机生成的), 后续使用客户端连接时,需要填写该 api_key 。
import osos.environ["OPENAI_BASE_URL"] = "https://api.openai.com/v1"## 支持openai协议的 API BASEos.environ["OPENAI_API_KEY"] = "sk-xxxxx"## 你的API KEYfrom fastapi import FastAPI, HTTPException, Header, Dependsfrom fastapi.responses import StreamingResponsefrom pydantic import BaseModelfrom typing importList, Dict, Any, Optional, Generatorfrom langgraph.prebuilt import create_react_agentfrom langchain_mcp_adapters.client import MultiServerMCPClientfrom datetime import datetimeimport time, uuidapp = FastAPI(title="OpenAI Compatible Chat API")api_key = "sk-da4b6cb4a41e4cascascasc9508deb556942"agent = NoneclassChatCompletionRequest(BaseModel): model: str messages: List[Dict[str, Any]] temperature: Optional[float] = 1.0 max_tokens: Optional[int] = None stream: Optional[bool] = FalseclassChatCompletionChoice(BaseModel): index: int message: List[Dict[str, Any]] finish_reason: strclassChatCompletionResponse(BaseModel): id: str object: str = "chat.completion" created: int model: str choices: List[ChatCompletionChoice] usage: Dict[str, int]classChatCompletionChunk(BaseModel): id: str object: str = "chat.completion.chunk" created: int model: str choices: List[Dict[str, Any]]asyncdefcreate_agent(): '''创建MCP Agent''' client = MultiServerMCPClient( { "chart": { "url": "https://mcp.api-inference.modelscope.net/530c948576c248/sse", "transport": "sse" }, "covid19-query": { "url": "http://127.0.0.1:6030/sse", "transport": "sse" } } ) tools = await client.get_tools() return create_react_agent( "openai:gpt-4.1",, tools, prompt="You are an AI assistant that helps people find information.\n针对用户的问题,你的执行流程是1.获取表结构。2.生成SQL查询数据。3.生成可视化图表。4.总结结果回复用户" )asyncdefinvoke_agent(messages: []): global agent ifnot agent: agent = await create_agent() asyncfor chunk in agent.astream({"messages": messages}, stream_mode="updates"): if"agent"in chunk: content = chunk["agent"]["messages"][0].content tool_calls = chunk["agent"]["messages"][0].tool_calls if tool_calls: for tool in tool_calls: yieldf"> ```Call MCP Server: {tool['name']}```\n\n" else: yield contentasyncdefhandle_stream_response(messages: [], model: str, request_id: str) -> Generator[str, None, None]: # 执行 agent asyncfor msg in invoke_agent(messages): chunk_data = ChatCompletionChunk( id=request_id, created=int(time.time()), model=model, choices=[{ "index": 0, "delta": { "content": msg }, "finish_reason": None }] ) yieldf"data: {chunk_data.model_dump_json()}\n\n" final_chunk = ChatCompletionChunk( id=request_id, created=int(time.time()), model=model, choices=[{ "index": 0, "delta": {}, "finish_reason": "stop" }] ) yieldf"data: {final_chunk.model_dump_json()}\n\n" yield"data: [DONE]\n\n"asyncdefverify_auth(authorization: Optional[str] = Header(None)) -> bool: '''验证token''' ifnot authorization: returnFalse if authorization.startswith("Bearer "): token = authorization[7:] else: token = authorization return token == api_key@app.post("/v1/chat/completions")asyncdefchat_completions(request: ChatCompletionRequest, auth_result: bool = Depends(verify_auth)): # 检查身份验证结果 ifnot auth_result: raise HTTPException( status_code=401, detail={ "error": { "message": "Invalid authentication credentials", "type": "invalid_request_error", "param": None, "code": "invalid_api_key" } }, headers={"WWW-Authenticate": "Bearer"} ) ## 暂不支持非流式返回 ifnot request.stream: raise HTTPException( status_code=400, detail={ "error": { "message": "Streaming responses are not implemented in this mock API", "type": "invalid_request_error", "param": "stream", "code": "invalid_parameter" } } ) try: # 触发 agent 并流式返回 request_id = f"chatcmpl-{uuid.uuid4().hex[:8]}" return StreamingResponse( handle_stream_response(request.messages, request.model, request_id), media_type="text/plain", headers={ "Cache-Control": "no-cache", "Connection": "keep-alive", "Content-Type": "text/event-stream" } ) except Exception as e: raise HTTPException(status_code=500, detail=str(e))@app.get("/v1/models")asyncdeflist_models(): """列出可用模型""" return { "object": "list", "data": [ { "id": "agent_model", "object": "model", "created": int(time.time()), "owned_by": "agent" } ] }@app.get("/health")asyncdefhealth_check(): """健康检查""" return {"status": "healthy", "timestamp": datetime.now().isoformat()}if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000)
启动服务:
五、使用 OpenAI 协议客户端进行测试
这里以 Cherry Studio 为例,你也可以换成 OpenWebUI 或者其他支持 OpenAI协议的客户端:
配置连接:
对话测试:
提问:统计的确诊数量前十名的州,以折线图的方式展示
提问: 找出确诊人数前五名的州,按饼图的方式绘制给我
提问: 根据每个县的确诊人数取Top10,以柱状图的方式呈现给我
提问: 统计确诊数量最多的州占整体的百分比,以液体展示
告别传统 Text-to-SQL:基于 Spring AI Alibaba 的数据分析智能体 DataAgent 深度解析
推荐语
告别传统Text-to-SQL的局限,DataAgent让企业数据分析更智能高效,像专家一样思考并输出深度洞察报告。
核心内容:
- DataAgent如何超越传统Text-to-SQL,解决企业数据决策难题
- 人类反馈机制确保AI分析安全可控,避免错误执行计划
- Prompt动态配置与自动优化实现灵活适配不同模型需求
正文
前言:AI 数据分析的“最后一公里”
在企业数字化转型的浪潮中,我们发现很多公司依然面临着“数据深渊”:业务人员想看数据,却受限于复杂的 SQL 语法;开发者虽然尝试了 Text-to-SQL,但生成的代码逻辑常有偏差,同时也无法应对复杂的统计分析、根因定位等场景。
DataAgent 应运而生。 这不是简单的指令翻译器,而是我们基于 Spring AI Alibaba 生态构建的一位“虚拟 AI 数据分析师”。它能够像专家一样思考、规划、纠错,并最终输出一份带图表、带逻辑、带深度洞察的行业级报告。
从架构上,DataAgent 是一款基于 Spring AI Alibaba 生态构建的、面向企业级复杂场景的“虚拟 AI 数据分析师”。它通过 Spring AI Alibaba Graph & Agent Framework 构建了一套具备自我规划、工具调用、反思纠错及人类干预能力的数据智能体(Agent),通过 graph、multi-agent 模式将确定性流程与模型推理结合在一起,搭建了一套兼具流程确定性与智能化的数据智能体产品。
一、降维打击:为什么 DataAgent 不止是 Text-to-SQL?
二、视频概览
文章嵌入内容三、整体架构
四、核心黑科技:DataAgent 是如何解决企业难题的?
我们不只是在写代码,而是在解决企业数据决策中的“深水区”难题。以下是 DataAgent 攻克研发痛点、实现架构突破的几大核心战役。
4.1 人类反馈机制 (Human-In-The-Loop)
- 遇到问题:担心 AI 智商掉线?一个错误的执行计划可能瞬间拖垮生产库,甚至“一步错步步错”。
- 解决方案:
- 入口:运行时请求参数
humanFeedback=true(GraphController→GraphServiceImpl)。 - 数据字段:
agent.human_review_enabled用于保存配置,运行时以请求参数为准。 - 图编排:
PlanExecutorNode检测HUMAN_REVIEW_ENABLED,转入HumanFeedbackNode。 - 暂停与恢复:
CompiledGraph使用interruptBefore(HUMAN_FEEDBACK_NODE),无反馈时进入“等待”,反馈到达后通过threadId继续执行。 - 反馈结果:给 AI 穿上约束衣!同意、修改或驳回,都在你一念之间。让 AI 既有速度,又懂规矩。
4.2 Prompt 动态配置与自动优化
- 遇到问题:修改一句 Prompt 就要重启系统?不同模型对 Prompt 脾气不同,一套模板走天下根本行不通。
- 解决方案:
- 配置入口:
/api/prompt-config/*,数据表user_prompt_config。 - 作用范围:支持按
agentId绑定或全局配置(agentId为空)。 - Prompt 类型:
report-generator、planner、sql-generator、python-generator、rewrite。 - 自动优化方式:
ReportGeneratorNode拉取启用配置(按priority与display_order排序),
通过 PromptHelper.buildReportGeneratorPromptWithOptimization 拼接“优化要求”。
- 当前实现重点:报告生成节点已落地优化;其他类型为预留能力。
- 获得效果: 像配置 Excel 一样调优 AI。运维人员无需重启,即可让 DataAgent 瞬间从“菜鸟分析师”变身“首席架构师”。
4.3 深度 RAG 与混合检索增强
- 遇到问题: 纯向量检索常召回一堆废话?AI 不认识你的业务缩写?表结构太复杂,AI 搜不到。
- 解决方案:
- 查询重写:
EvidenceRecallNode将多轮上下文与用户问题组装为检索指令,调用 LLM 生成standaloneQuery,避免上下文遗漏与歧义。 - 召回通道:
AgentVectorStoreService作为统一入口,默认走向量检索;开启混合检索后走AbstractHybridRetrievalStrategy,将“向量召回 + 关键词召回”进行融合。(用户需要提供混合检索实现。当前默认只支持es) - 召回过滤:
DynamicFilterService生成基于智能体与知识类型的过滤条件,限制检索范围,避免跨智能体串库。 - 文档类型:业务知识(
business_knowledge)+ 智能体知识(agent_knowledge)两类,按agentId/type元数据过滤后合并为 evidence,注入后续 prompt。 - 关键配置:
spring.ai.alibaba.data-agent.vector-store.enable-hybrid-search控制是否开启混合检索;相似度阈值与 TopK 通过向量库配置项控制(如top-k、similarity-threshold)。 - 输出形式:evidence 文档以标题/摘要/片段形式汇总,作为
EvidenceRecallNode输出内容进入后续规划于 SQL 生成阶段。 - 获得效果: AI 拥有了老员工的“直觉”。它能秒懂你的业务逻辑,即便表名全是乱码,它也能精准命中。
4.4 容器化 Python 执行引擎
- 遇到问题:SQL 只能算数,不能预测。想看趋势图、做线性回归?SQL 此时显得苍白无力。
- 解决方案:
- 代码生成:
PythonGenerateNode根据计划与 SQL 结果生成 Python。 - 代码执行:
PythonExecuteNode使用CodePoolExecutorService(Docker/Local/AI 模拟)。 - 执行配置:
spring.ai.alibaba.data-agent.code-executor.*(默认 Docker 镜像continuumio/anaconda3:latest)。 - 结果回传:执行结果写回
PYTHON_EXECUTE_NODE_OUTPUT,PythonAnalyzeNode汇总后写入SQL_EXECUTE_NODE_OUTPUT,用于最终报告。 - 获得效果: 赋予 AI 科学家级的建模能力。不仅能提取数据,还能输出带图表、带算法、带深度预测的高质量产出。
4.5 流式输出 (SSE) 与多轮对话管理
- 遇到问题:分析任务耗时太长,用户盯着屏幕转圈圈,以为系统挂了。
- 解决方案:
- 流式输出:
GraphControllerSSE +GraphServiceImpl流式处理。 - 文本标记:
TextType在流中标记 SQL/JSON/HTML/Markdown,前端据此渲染。 - 多轮对话:
MultiTurnContextManager记录“用户问题+规划结果”,注入到后续请求。 - 模式切换:
spring.ai.alibaba.data-agent.llm-service-type支持STREAM/BLOCK - 获得效果:极致的交互快感!让用户亲眼看到 AI 正在如何“思考”与“推演”,每一秒都有获得感。
4.6 MCP 服务器发布与多模型调度
- 遇到问题: DataAgent 虽好,但只能在自研系统用?想集成到 Claude 或 IDE?适配成本高到吓人。
- 解决方案:
- MCP:
McpServerService提供 NL2SQL 与 Agent 列表工具,使用 Mcp Server Boot Starter。 - 多模型调度:
ModelConfig配置模型,AiModelRegistry缓存当前 Chat/Embedding 模型并支持热切换(同一时间每类仅一个激活模型)。 - 已内置工具:
nl2SqlToolCallback、listAgentsToolCallback。 - 获得效果:无处不在的 AI 生产力。它是你的数据中心,也是你办公软件里随叫随到的超强插件。
4.7 多数据源接入
-
遇到问题:企业数据散落在 MySQL、PostgreSQL 等各类库中,跨库取数像是在做“情报搜集”,配置繁琐且标准不一。
-
解决方案:
-
元数据存储:数据源配置写入
datasource,智能体绑定写入agent_datasource,选表写入agent_datasource_tables,逻辑外键写入logical_relation。 - 类型扩展:
BizDataSourceTypeEnum定义数据源类型;
对应的 Accessor + DBConnectionPool 负责不同数据库协议与方言的访问。
- Schema 初始化:
AgentDatasourceController触发初始化,SchemaService通过AccessorFactory拉取表/列/外键并写入向量库。 - 运行时选择:
DatabaseUtil从当前智能体获取激活数据源,动态选择Accessor执行 SQL。 -
约束:同一智能体同一时间仅允许启用一个数据源(
AgentDatasourceService.toggleDatasourceForAgent)。 -
获得效果:一个智能体,纵览全司数据!无论数据在哪儿,DataAgent 都能精准“路由”。它是数据孤岛的终结者,让跨库分析像查询单表一样简单。
4.8 报告生成与摘要建议
- 遇到问题: 查出来一堆数字有什么用?领导要的是洞察,是结论,是能直接发在群里的 HTML 报告。
- 解决方案:
- 报告节点:
ReportGeneratorNode读取计划、SQL/Python 结果与摘要建议(summary_and_recommendations)。 - 输出格式:默认 HTML,
plainReport=true输出 Markdown(简洁报告)。 - 优化提示词:自动拼接优化配置后生成报告。
- 获得效果:把分析师的一天缩短为 10 秒。从查数到成稿,DataAgent 承包了所有体力活,让你只负责最后的一锤定音。
4.9 NL2SQL 转换, 语义模型,逻辑外键引擎
- 遇到问题: 纯大模型写 SQL 经常“盲目自信”,不是字段写错,就是不懂业务术语。语法错误导致的执行中断更是家常便饭。
- 解决方案:
- 语义模型层:通过管理端定义的术语映射规则,在生成阶段强制约束。
- 两阶段校验:
SqlGenerateNode生成后接SemanticConsistencyNode检查语义一致性。 - 自愈循环:
SqlExecuteNode捕获执行错误并反馈给 Graph 状态机,触发重定向至重写节点进行纠错。 - 逻辑外键:写入外部的业务逻辑的外键,不写入业务数据库。增强对表的理解能力。
- 获得效果:让 AI 拥有“职业分析师”的严谨。 告别报错,告别幻觉。它不仅懂 SQL 语法,更懂你的业务逻辑,让每一次查询都精准命中。
4.10 API Key 与权限管理
- 遇到问题:接口裸奔?权限失控?想对外开放能力却怕费用爆炸或数据泄露。
- 解决方案:
- 管理端:
AgentController支持生成、重置、删除与启用/禁用 API Key。 - 数据字段:
agent.api_key与agent.api_key_enabled。 - 调用方式:请求头
X-API-Key。 - 注意:默认不开启鉴权拦截;生产需开启
spring.ai.alibaba.data-agent.api-key.enabled=true。 - 获得效果:生产级安全防护。让你的 DataAgent 不仅是业务利器,更是安全可控的企业级数字资产。
结语:让数据价值触手可及
DataAgent 的核心价值在于,它不仅仅是完成了一次查询,而是将“数据处理的工程化”与“大模型的推理能力”深度结合。结合 Spring AI Alibaba 的 Graph 编排与 Agentic 推理能力,DataAgent 将确定性流程与模型推理结合在一起,将原本碎片化的分析过程,转化为了兼具流程确定性与智能化的数据智能体。
未来,数据不再是冷冰冰的行列,而是每一位业务决策者都能随手调用的“智库”。
DB-GPT V0.8.1 版本更新|让 AI 数据助理走向生产:定时、连接与长程 Agent
推荐语
DB-GPT V0.8.1 让AI数据助理从一次性分析工具升级为可重复、可连接、可观测的团队生产力核心。
核心内容:
- 定时任务功能:将成功分析沉淀为周期任务,实现自动化报告与复盘
- MCP连接器:安全接入外部工具,扩展Agent能力边界
- 上下文管理与任务追踪:保障多步分析稳定执行,过程全透明
正文
V0.8.1 把 AI数据助理 的能力进一步沉淀为可调度、可连接、可观察、可运维的生产化工作流,回答几个更偏生产化的问题:
- 一次成功的数据分析很有价值,如何按周期重复执行,而不必每次重新对话?
- 只连接数据库的 Agent 能力有限,如何让它安全接入外部系统与业务工具?
- 复杂分析往往会运行很多步,如何让它稳定控制上下文窗口,并让用户看清楚它在做什么?
围绕这些问题,本版本引入了定时任务、MCP 连接器、上下文管理与任务计划追踪,同时扩展模型、数据源、向量存储和缓存生态,并补充一批面向生产环境的性能、安全与兼容性修复。
V0.8.1 的核心价值可以概括为:让 AI 数据助理从“能完成一次复杂分析”,进一步走向“能被团队反复使用、持续运行和稳定运维”。
🌟关键特性速览
-
⏰定时任务 — 将一次成功的数据分析保存为周期任务,自动按计划产出结果。
-
🔌MCP 连接器 — 通过 MCP 将 AI数据助理 接入外部工具,支持内置模板与自定义 MCP Server
- 🧠上下文管理与任务计划追踪 — 通过上下文管理与任务计划追踪,支撑多步分析稳定推进,让执行过程透明可见
- 🚀 数据源连接器缓存 — 优化连接器构建、Schema 索引与向量检索链路,提升大 Schema 场景下的速度与可靠性
- 🧱生态扩展 — 新增 LiteLLM、Qdrant、Valkey、DeepSeek V4 Pro 和 MiniMax-M3模型等能力支持
✨ 核心特性
⏰ 定时任务:把一次成功分析变成持续产出
*很多数据分析工作天然是周期性的:每日经营日报、每周风险检查、月度财务摘要,或基于最新数据库快照反复执行的诊断分析。V0.8.1 引入定时任务(Scheduled Tasks),让一次成功的分析对话可以沉淀为可重复执行的任务。 你只需先完成一次数据分析,再将该对话保存为任务。DB-GPT 会按 Cron 计划重放完整的 ReAct Agent 流程,每次运行都会生成新的对话与报告,并保留完整执行历史,方便审计、复盘和团队共享。将对话保存为周期性任务一键保存已完成对话*
- *一键保存已完成对话:将任意完成的分析对话转化为定时任务。*
- *灵活设置调度周期:支持每小时、每天、每周、每月,或自定义 Cron 表达式。*
- **冻结执行上下文:原始问题、模型、已选 Skill 和连接器环境会写入任务快照,使每次重放都在相同条件下运行。****
- **启停任务:可在定时任务页面直接暂停或重新启用任务。****
**`
************运行历史与只读回放******每一次定时运行都会记录状态、耗时、结果摘要,以及它生成的对话 ID。你可以打开任意一次历史运行,直接从历史记录中回放该次对话;回放不会再次触发 LLM 调用,让复盘既低成本又可复现。
********🔌 MCP 连接器:让 Agent 安全接入外部工具 V0.8.1 通过 MCP 连接器(MCP Connectors) 将 DB-GPT Agent 的能力从数据库和本地 Skill 扩展到外部服务。Agent 现在可以通过 MCP 接入外部工具,同时由用户掌控每次会话到底挂载哪些连接器。 当前内置连接器模板包括飞书、钉钉、语雀、GitHub、Notion、Linear、Tavily 和 DeepWiki。你也可以接入任意支持 SSE 或 Streamable HTTP 的自定义 MCP Server。
**`🧠 上下文管理与任务计划追踪:让长程任务更稳定、更透明 Agentic 数据分析往往不是一个短对话,而是需要多步探索、反复尝试、生成中间产物的长任务。V0.8.1 为 Data Agent 流程新增上下文管理与任务计划追踪,让长任务更稳定,执行过程也更易理解。 - **多层上下文压缩:帮助长任务避免超过模型上下文窗口。** - **实时上下文使用事件:将上下文窗口使用情况实时推送到前端。** - **任务计划追踪:Agent 维护结构化 Todo 列表,并在步骤推进时推送计划更新。** - **更清晰的动作解释:每一步动作都会展示它在做什么,以及为什么需要执行。** - **前端任务计划卡片与上下文使用指示器:让整个执行过程透明可见。** 在底层,ContextManager编排一套由 Token 预算状态驱动的**渐进式多层压缩**机制。随着用量越过警告与错误阈值,压缩力度逐级增强:从截断早期 Observation,到丢弃早期轮次,再到由LLM 生成结构化摘要;若模型仍报context_too_long`,还有应急兜底层。 这些改进让 DB-GPT 更适合承接需要多步推理、反复尝试和中间产物管理的复杂数据分析工作流。
- 上下文窗口使用情况。
🧱 模型、数据源与存储生态扩展 V0.8.1 进一步扩展了 DB-GPT 周边生态,让团队可以更方便地复用已有模型、数据库、向量存储和缓存基础设施。 *LiteLLM 嵌入式 AI GatewayDB-GPT 新增 LiteLLM 作为嵌入式代理 Provider,注册名为 proxy/litellm。它不是一个额外的代理服务,而是 DB-GPT 进程内直接调用 LiteLLM,让你通过统一入口访问 OpenAI、Anthropic、Vertex AI、Bedrock、Azure、Cohere、Mistral、Groq、Ollama 等 LiteLLM 支持的众多后端。 [[models.llms]]name = "anthropic/claude-3-5-sonnet-20241022"provider = "proxy/litellm" #### 新增向量检索与缓存后端****`#### `- **Qdrant 向量检索:**支持高性能向量搜索场景。 - **Valkey 向量存储**:支持使用 Valkey 和 valkey-search 构建向量检索链路。 - **Valkey 缓存存储:**支持 LLM 响应缓存和 Embedding 缓存场景。 - **可配置距离度量:**向量检索的距离度量可按需配置。 - **Valkey 向量客户端**`CLIENT SETNAME:`使 DB-GPT 的连接在 Valkey 监控工具中可被清晰识别。 ****`#### `#### 新增数据源与模型支持- openGauss 数据源:补充连接、展示和使用文档支持。 - StarRocksVARBINARY与BINARY类型:完善 StarRocks 类型兼容。 - MiniMax-M3:升级为 MiniMax Provider 默认模型,同时保留 MiniMax-M2.7 可选。 - DeepSeek V4 Pro:新增模型支持。*****
*🚀 性能优化:面向大 Schema 和生产库的关键改进*V0.8.1 针对大 Schema、生产级数据库和索引链路做了重要性能优化。 - 数据源连接器缓存:ConnectorManager.get_connector(db_name) 现在对构建好的连接器增加 TTL 缓存。在近 900 张表的生产 SQL Server 场景中,热缓存连接器查询从约 63 秒降至 10ms 以内。 - 按数据库粒度的索引锁:避免 Schema 索引与刷新操作并发竞争,降低产生空索引的风险。 - 按 Chunk 粒度容错:单个异常 Embedding Chunk 不再导致整个索引任务失败。 - MSSQL 元数据兼容:针对 SQL Server 使用正确的 INFORMATION_SCHEMA 与扩展属性查询字段元数据。 - Milvus 2.5+ 兼容:**提升 Milvus 向量存储在新版本下的兼容性。
🛡️ 安全与稳定性加固 本版本还包含多项面向生产环境的安全与稳定性增强: - ~/.dbgpt/configs/本地 Profile 配置文件权限优化。 - 知识库模块接口补充认证依赖。 - 更严格校验 Skill 上传文件名、示例文件名和 Python 上传文件名。 - 限制个人 Skill 脚本执行,降低未受控执行风险。 - Code Interpreter 临时脚本写入时显式使用 UTF-8 编码。 - Markdown 知识库默认使用 size chunking,索引过程更可预测。 - ReAct 解析器更好地兼容多步输出。 - Chat DB 提示词明确说明当前检索到的表结构是 TOP-K 子集,提升全库元问题的回答准确性。`****
🐞 问题修复
- 修复 Web UI 创建 DuckDB 数据源的问题(#3009)
- 支持 DeepSeek V4 Pro(#3079)
- Markdown 知识库默认使用 size chunking(修复 #3030)(#3033)
- 限制个人 Skill 脚本执行(#3071)
- 校验示例文件名(#3066)
- 校验 Skill 上传文件名(#3065)
- 约束 Python 上传文件名(#3064)
- 处理知识空间 ID 响应(#3070)
- 兼容多步 ReAct 输出(#3074)
- 告知 LLM 当前表列表是 TOP-K 子集,而非全库表列表(#3045)
- 扩展
gpts_messages.content字段以容纳更长的 Agent 消息(#3055) - 兼容 Milvus 2.5+(#3042)
- 增加按 Chunk 粒度容错和按数据库粒度索引锁(#3040)
- 为 MSSQL
get_fields()实现 SQL Server 兼容的INFORMATION_SCHEMA查询(#3039) - 为知识库模块接口补充认证依赖(#3038)
- 修复 BranchOperator 错误跳过共享下游节点的问题(修复 #2935)(#3035)
- 遵循已配置的通义 Embedding 模型名称(修复 #3029)(#3032)
- 写入 Code Interpreter 临时脚本时显式使用 UTF-8 编码(#3023)
## LiteLLM 代理 Provideruv sync --all-packages --extra "proxy_litellm"# Qdrant 向量存储uv sync --all-packages --extra "storage_qdrant"# Valkey 缓存 / 向量存储uv sync --all-packages --extra "storage_valkey"
准确率是ChatBI的生命线:技术架构、提升路径与主流产品深度解析
推荐语
ChatBI如何突破准确率瓶颈?从技术架构到实践案例,全面解析对话式商业智能的可靠性革命。
核心内容:
- 影响ChatBI准确率的三大关键环节与技术挑战
- NL2SQL与NL2DSL两大技术路线的架构对比
- 提升准确率的核心技术方案与真实案例效果
正文
准确率是ChatBI的生命线:技术架构、提升路径与主流产品深度解析
引言:从“数据找人”到“人问数据”,为何准确率是ChatBI的生死线?
曾几何时,业务分析师张伟的一天,是从与海量Excel表格的搏斗中开始的。当老板在会议上随口问及“上个季度华南大区的明星产品销售趋势如何?”时,他便一头扎进由VLOOKUP、SUMIF和数据透视表构筑的“Excel地狱”。另一边,数据工程师李静则在为业务部门层出不穷的临时取数需求而焦头烂额,每一句口语化的提问,都意味着一段复杂SQL代码的编写、调试与验证。这便是传统商业智能(BI)时代,数据与业务决策者之间普遍存在的“SQL高墙”与“报表鸿沟”。
然而,随着大型语言模型(LLM)的浪潮席卷而来,一种革命性的数据交互范式——ChatBI(Conversational BI,对话式商业智能)应运而生。它承诺打破技术壁垒,让每一位业务人员都能通过最自然的语言与数据对话。正如一位行业观察家所言,“如果说数据是新时代的石油,智能问数就是能让普通人也能操作的智能钻井平台。” ChatBI的出现,标志着数据分析从“数据找人”(通过固化报表推送信息)向“人问数据”(通过主动提问探索洞察)的根本性转变,其核心价值在于前所未有地降低了数据分析的门槛。
但是,这场看似美好的技术革命背后,潜藏着一个致命的阿喀琉斯之踵——准确率。想象一下,当营销总监询问“哪个渠道的ROI最高?”时,ChatBI给出了一个错误的答案,导致数百万预算被投向了效率最低的渠道。或者,当CEO关心“核心客户流失率”时,系统因未能理解“核心客户”的业务定义而提供了一个被严重低估的数字。在这种情况下,ChatBI不仅毫无价值,反而成了一场引人走向悬崖的“数据灾难”。
因此,准确率,构成了用户对ChatBI信任的唯一基石,是其能否从一个炫酷的技术玩具,转变为企业核心决策引擎的生命线。 一个不准确的ChatBI系统,其破坏性远大于一个功能有限但结果可靠的传统报表。用户一旦失去信任,便会迅速弃用,整个系统的价值便会归零。
本文旨在深入解构这一核心命题。我们将从影响ChatBI准确率的三大关键环节——问题理解、问题改写、查询生成——入手,系统性地剖析其背后的技术挑战。随后,我们将深入辨析当前业界两大主流技术路线——NL2SQL与NL2DSL的架构优劣,探讨哪条路更能通往高准确率的彼岸。在此基础上,本文将详细阐述一系列提升准确率的核心技术组合拳,包括RAG、Prompt工程、多轮对话与多路校验。更进一步,我们将横向对比Power BI、Tableau、观远数据、DataFocus等市场主流产品的技术实现路径,为企业的技术选型提供参考。最后,通过一个将查询准确率从60%提升至92%的真实案例,我们将为企业构建高准确率、可信赖的ChatBI系统,提供一份可落地、可执行的技术路线图。
失之毫厘,谬以千里:解构影响ChatBI准确率的三大关键环节
要提升ChatBI的准确率,首先必须像解剖精密仪器一样,理解从用户提出问题到系统返回答案的全流程。这个看似简单的“一问一答”背后,隐藏着一个环环相扣、层层递进的信息处理链条。任何一个环节的微小偏差,都可能在后续环节被放大,最终导致“失之毫厘,谬以千里”的结果。我们将这一过程拆解为三大核心环节:用户意图识别、问题改写和查询生成。
环节一:用户意图识别(User Intent Understanding)—— “听懂”比“听到”更重要
定义: 用户意图识别是ChatBI与用户交互的起点,是系统的“耳朵”和“大脑的初级处理阶段”。它远不止于简单地“听到”用户输入的文字,而是要深度“听懂”用户真实的、潜在的分析需求。正如一篇分析文章所指出的,系统需要判断用户是想“查询指标”、“做对比”、“看趋势”还是“找原因”。这是将非结构化的自然语言,转化为结构化分析任务的第一步。
核心挑战:
- • 语义模糊性与歧义: 用户的提问天然地充满了口语化和模糊性。例如,当用户问“查一下最近的销售情况”,这里的“最近”是最近一天、一周还是一个月?“销售情况”是指销售额、销量还是利润?一个优秀的ChatBI系统必须能够识别这种模糊性,并通过后续交互(如下文将提到的多轮对话)或基于预设的业务常识进行澄清和补全。
- • 复杂的业务逻辑内涵: 许多看似简单的业务术语,背后都蕴含着复杂的定义。一个典型的例子是,某银行高管问“高净值客户流失率是多少?”。这里的“高净值客户”并非一个简单的数据库字段,而是一个复杂的业务规则组合。根据衡石科技的一篇技术博客分析,它可能需要同时满足“总资产 > 500万”、“近半年交易 ≥ 5次”和“风险评级 ≤ B”等多个条件。如果系统无法理解这层深度的业务语义,生成的查询必然是错误的。
- • 多意图杂糅: 用户常常在一个问题中打包多个分析任务。例如,“对比去年和今年华东区的销售额和利润率趋势”。系统需要精准地拆解出多个核心意图:时间对比(去年 vs 今年)、地域过滤(华东区)、指标查询(销售额、利润率)和分析类型(趋势分析)。这要求模型具备强大的任务分解能力。
- 领域术语(Jargon)与同义词: 不同行业、甚至不同企业内部,都有其独特的“黑话”。金融行业的“AUM”(资产管理规模)、零售业的“坪效”(每坪面积产出的营业额)、互联网的“DAU”(日活跃用户),这些都是系统必须掌握的领域知识。此外,用户可能会用不同的词表达同一个意思,如“销售额”可能被称为“GMV”、“营收”或“流水”。根据一篇关于提升意图识别技术的文章所述,处理同义词(Synonymy)和释义(Paraphrasing)是意图识别的核心挑战之一。
在学术界,腾讯发布的SiriusBI论文也强调了在多轮对话(Multi-Round Dialogue, MRD)中理解用户意图的重要性,指出单一轮次的对话(SRD)往往无法捕捉真实世界中复杂的交互需求,从而限制了ChatBI系统的有效性。
环节二:问题改写(Query Rewriting)—— 将“口语”翻译成“书面语”
定义: 如果说意图识别是“听懂”,那么问题改写就是“复述”和“整理”。它是一个承上启下的关键步骤,负责将用户输入的、可能包含口语化、非规范、信息残缺的自然语言问题,转化为一个或多个结构清晰、信息完备、逻辑严谨、机器更容易解析的标准化查询(Standardized Query)。这个过程好比将一段随性的口头指令,翻译成一份精确的书面工作任务单。
核心挑战:
- • 特异性与泛化性的平衡: 这是问题改写中最微妙的权衡。改写得过于具体,可能会曲解用户本意,丢失重要信息。例如,ZenML的一篇博客中提到,将用户提问“如何监控我的流水线?”改写为“如何在MLflow中可视化我的数据?”,就可能完全偏离了用户想了解ZenML自身监控功能的初衷。反之,改写得过于宽泛,又会导致检索到的结果不相关。例如,将“银行业欺诈检测的AI实践”改写为“AI的最佳实践”,得到的结果将毫无价值。正如Chitika的文章所强调的,一个好的改写能显著提升结果的精确度。
-
• 上下文的继承与保持: 在多轮对话的场景下,问题改写变得尤为复杂。系统不仅要处理当前轮次的用户输入,还必须准确理解并继承之前对话的上下文。例如: 用户第一轮:“查一下上个月华东区的销售额。” 用户第二轮:“那华北区呢?” 在处理第二轮提问时,改写模块必须自动将问题补全为“查一下上个月华北区的销售额”,而不是孤立地去理解“华北区呢?”。这要求系统具备强大的对话状态跟踪(Dialogue State Tracking)能力。
-
• 知识漂移与策略迭代: 业务环境和用户语言习惯是动态变化的。新的业务术语会产生,旧的指标可能被废弃。这意味着,一个有效的改写策略无法一劳永逸。正如ZenML博客所指出的“知识漂移”(drift)问题,曾经有效的改写规则可能会随着时间推移而变得过时。因此,必须建立持续的评估和迭代机制,确保改写策略与时俱进。学术研究也关注此问题,例如一篇关于查询改写用于发现错误信息的研究提出,可以通过强化学习自动学习编辑动作(如替换同义词、改变动词时态),以最大化检索效果,这种思想同样适用于ChatBI。
环节三:查询生成(Query Generation)—— 从“理解”到“执行”的最后一公里
定义: 查询生成是整个信息处理链条的终点,也是决定最终结果是否准确的“临门一脚”。它负责将经过意图识别和问题改写后的标准化、结构化查询,最终翻译成目标数据系统能够直接执行的机器语言。这种语言通常是SQL(Structured Query Language),但也可能是某种领域特定语言(Domain-Specific Language, DSL)。
核心挑战:
- • 语法正确性(Syntactic Correctness): 这是最基本的要求。生成的查询代码必须严格遵守目标数据库(如MySQL, PostgreSQL, ClickHouse等)的语法规范。任何一个微小的语法错误,如括号不匹配、关键字拼写错误,都会导致查询失败。
- • 逻辑正确性(Semantic Correctness): 这是最核心也最困难的挑战。生成的查询逻辑必须与用户的业务意图完全一致。这涉及到复杂的操作,例如:
- • 正确的表连接(JOIN): 当查询涉及多个数据表时,系统必须知道应该使用哪些表,以及通过哪些字段(主键/外键)将它们正确地连接起来。错误的JOIN会导致数据重复计算或丢失。
- • 恰当的聚合函数(Aggregation): 是求和(SUM)、平均(AVG)、计数(COUNT)还是去重计数(COUNT DISTINCT)?这取决于指标的业务定义。
- • 精确的过滤条件(Filtering): WHERE子句中的条件必须准确无误,包括日期范围、文本匹配、数值比较等。
- • 查询性能考量(Performance Consideration): 一个逻辑上正确但性能极差的查询在企业级应用中是不可接受的。例如,一个导致全表扫描的查询可能会耗尽数据库资源,影响整个系统的稳定性。因此,查询生成模块需要具备一定的优化能力,或者其架构设计本身就能与BI平台的性能优化机制(如物化视图、预计算模型)相结合,生成高效的执行计划。
正是在“查询生成”这一环节,不同的技术路线选择——即直接生成SQL(NL2SQL)还是先生成DSL再由平台转译(NL2DSL)——产生了根本性的分歧。这个架构上的选择,不仅深刻影响着查询的准确率,更决定了整个ChatBI系统的可维护性、可扩展性和安全性。这正是我们下一章节将要深入探讨的关键分水岭。
架构的十字路口:NL2SQL vs. NL2DSL,哪条路通往高准确率?
当ChatBI系统完成了对用户意图的理解和问题的标准化改写后,便来到了一个决定其命运的十字路口:如何将这些理解转化为机器可以执行的指令?业界主要存在两条泾渭分明的技术路线——NL2SQL(自然语言到SQL)和NL2DSL(自然语言到领域特定语言)。这个选择并非简单的技术偏好,而是深刻影响准确率、可维护性和企业级能力的核心架构决策。
NL2SQL(自然语言到SQL):一步到位的“黑箱翻译器”
工作原理: NL2SQL的技术理念非常直接,它试图构建一个端到端的“翻译模型”。这个模型以用户的自然语言提问作为输入,直接输出一段可以在数据库中执行的SQL查询语句。近年来,随着大型语言模型(LLM)的崛起,基于LLM的NL2SQL能力得到了显著提升,模型可以直接“看懂”数据库的schema(表结构、字段名等),并生成对应的SQL代码。
优点:
- • 理论上的通用性: SQL是关系型数据库的通用语言,因此一个强大的NL2SQL模型理论上可以适配任何支持SQL的数据库,具备良好的普适性。
缺点(架构原罪): 尽管看似简洁,但NL2SQL在复杂的企业真实场景中暴露了诸多深层次的架构缺陷,衡石科技在其技术博客中将其犀利地总结为“业务语义的失控黑洞”。这些缺陷并非通过增大模型规模就能轻易解决,而是源于其架构的“原罪”。
- • 业务逻辑硬编码缺失: 这是NL2SQL最致命的弱点。企业数据分析中充满了无法从数据库schema中直接看出的隐性业务规则。以前文提到的“高净值客户”为例,其定义是复杂的业务逻辑组合。NL2SQL模型由于无法感知独立于数据库之外的业务规则库,只能基于训练数据中的统计概率去“猜测”查询逻辑。当遇到训练集中未见过或复杂的业务概念时,它生成的SQL往往是危险且错误的。例如,它可能会简单地生成
SELECT COUNT(DISTINCT user_id) FROM orders WHERE is_high_value = 1;,完全忽略了“高净值”的动态复合定义。 - • 复杂查询的高错误率与“幻觉”: 当查询涉及到多表JOIN、复杂的子查询、窗口函数等高级SQL操作时,LLM的“幻觉”问题会变得尤为突出。模型可能会连接错误的表、使用错误的关联键,或者生成语法上正确但逻辑上谬以千里的查询。根据一篇对比文章的数据,在跨5表关联下钻的复杂查询场景中,NL2SQL的失败率高达62%。
- • 权限管控失效与数据安全风险: 企业级BI系统通常拥有基于角色的精细化权限控制(RBAC),例如区域经理只能查看自己辖区的数据。这种权限逻辑通常在BI应用层实现。而NL2SQL模型为了生成查询,往往需要直接访问数据库的底层原始表。这相当于绕过了BI平台构建的“数据沙箱”,可能导致权限泄露。一个区域经理的查询,可能被错误地翻译成一个查询全量敏感订单信息的SQL,带来严重的数据安全风险。
衡石科技CTO一针见血地指出:“NL2SQL本质是‘绕过业务层的数据直达’——它把BI系统退化为SQL翻译器,牺牲了企业用数的核心防线。”
NL2DSL(自然语言到领域特定语言):基于语义层的“三阶编译”
工作原理: 与NL2SQL的一步到位不同,NL2DSL采用了一种“分而治之”的策略,可以理解为一种“三阶编译”架构。它将复杂的翻译任务分解为两个相对简单的步骤:
-
- 第一步(NL to DSL): 大模型的核心任务不再是生成冗长复杂的SQL,而是将用户的自然语言问题,翻译成一种中间态的、高度结构化的“领域特定语言”(DSL)。这种DSL是对业务分析操作的抽象,例如可以定义指标、维度、过滤器等元素。衡石科技自研的
HengshiQL就是一个例子。
- 第一步(NL to DSL): 大模型的核心任务不再是生成冗长复杂的SQL,而是将用户的自然语言问题,翻译成一种中间态的、高度结构化的“领域特定语言”(DSL)。这种DSL是对业务分析操作的抽象,例如可以定义指标、维度、过滤器等元素。衡石科技自研的
-
- 第二步(DSL to SQL): BI平台接收到这段简洁的DSL后,由其内置的、确定性的执行引擎负责解析。BI平台会结合自身管理的元数据(数据模型、表关系)、业务逻辑(指标统一定义)、权限体系和性能优化策略,将DSL“编译”成最终在数据库上执行的、精准且高效的SQL语句。
这一架构的核心,是构建了一个位于用户和数据底层之间的“语义层”(Semantic Layer)或“指标中台”(Metrics Layer)。这个中间层成为了业务规则、指标口径和数据模型的“唯一真相源”(Single Source of Truth)。
核心优势:
- • 极高的准确率: 这是NL2DSL最显著的优势。它极大地降低了对大模型的要求。LLM只需完成从自然语言到结构化DSL的映射,这是一个更收敛、更简单的任务,从而显著减少了“幻觉”的发生。而复杂的SQL生成、业务逻辑应用、权限控制等任务,都交给了逻辑严密、行为确定的BI平台来完成,保证了结果的可靠性。衡石科技指出,这种分工明确的路径能大幅提升查询准确率。
- • 强大的可维护性与扩展性: 所有的业务逻辑都被集中沉淀在语义层中。当“高净值客户”的定义需要调整时,管理员只需修改指标中台的配置(例如一个YAML文件),该变更即可实时对所有查询生效。而NL2SQL路线则可能需要重新标注大量数据并对大模型进行微调,成本高昂且周期漫长。
- • 性能与安全可控: 由于最终的SQL是由BI平台生成的,因此可以与平台自身的各种高级功能无缝集成。例如,系统可以自动将查询路由到经过优化的预计算模型(如OLAP Cube或宽表),实现亿级数据秒级响应。同时,BI平台严格的行列级权限(数据沙箱)也能被强制执行,确保数据安全。
对比总结与选型建议
为了更直观地展示两种技术路线的差异,我们将其核心能力进行对比如下:
| 能力维度 | NL2SQL方案 | NL2DSL方案(基于语义层) |
|---|---|---|
| 业务逻辑承载 | 依赖大模型基于训练数据“猜测”业务规则,易出错 | 指标中台/语义层预置、统一定义,成为唯一真相源 |
| 查询准确率 | 较低,尤其在复杂查询和未见过场景中幻觉严重 | 高,将不确定性任务最小化,由确定性引擎保证结果 |
| 复杂查询支持 | 多表JOIN、嵌套查询等场景错误率高 | 强,可自动路由至预计算模型,支持复杂下钻和关联 |
| 权限控制 | 库表级粗粒度管控,易绕过应用层权限,风险高 | 基于RBAC的精细化“数据沙箱”,与BI平台权限体系一致 |
| 维护成本 | 高,业务规则变更可能需要重新训练模型 | 低,修改语义层配置(如YAML)即可即时生效 |
| 扩展性 | 差,每新增业务规则或数据源都面临挑战 | 好,语义层易于扩展,对上层应用透明 |
选型建议:
通过上述对比,结论已然清晰。对于任何追求高准确率、业务逻辑复杂、数据安全要求严格的企业级ChatBI应用而言,采用NL2DSL结合语义层的架构是通往成功的必由之路。它虽然在初期需要投入资源构建语义层,但换来的是长期的准确性、可维护性和安全性,是构建可信赖AI决策系统的坚实基础。
相比之下,NL2SQL路线更像是一种“轻量级”或“过渡性”的方案。它可能适用于一些业务逻辑极其简单、查询场景相对固定、对准确率容忍度较高的个人应用或部门级工具,但在严肃的企业决策场景中,其固有的架构缺陷使其难以担当重任。
精准度提升的组合拳:从RAG到多路校验的核心技术栈
选择了正确的架构(NL2DSL + 语义层)只是成功的第一步。要将ChatBI的准确率推向极致,还需要一套精密的、协同工作的技术“组合拳”。这套技术栈覆盖了从增强模型知识、优化人机交互到验证输出结果的全链路,共同构成一个强大的准确率保障体系。
核心策略一:构建语义层,用RAG(检索增强生成)为LLM注入“领域知识”
是什么: 如果说语义层是ChatBI的“领域知识大脑”,那么RAG(Retrieval-Augmented Generation,检索增强生成)就是连接这个“大脑”与LLM的“神经通路”。单独的LLM像一个博学但没有特定行业经验的通才,它知道SQL语法,但不知道你公司“活跃用户”的具体定义。RAG技术的核心思想是,在让LLM回答问题之前,先从一个外部知识库中检索(Retrieve)与问题最相关的信息,然后将这些信息作为上下文(Context)与原始问题一起“喂”给LLM,增强(Augment)其回答的精准度。
为什么有效: 在ChatBI场景中,这个“外部知识库”正是我们前文反复强调的语义层。语义层包含了数据库的表结构、字段注释、指标的业务口径、维度的层级关系、业务术语的同义词等宝贵信息。通过RAG,这些信息被动态地注入到LLM的思考过程中。
RAG(检索增强生成)系统工作流程示意图,展示了如何通过检索外部知识库来增强LLM的回答能力
怎么做(工作流程):
-
- 知识库构建与向量化: 首先,将语义层中的所有信息(表定义、列描述、指标公式等)进行结构化处理,并使用Embedding模型将其转化为高维向量,存入向量数据库。这一步相当于为知识建立一个“语义索引”。
-
- 用户提问与检索: 当用户提出问题,如“上季度客单价最高的渠道是哪个?”,系统首先将这个问题也转化为向量。
-
- 语义搜索: 系统在向量数据库中进行相似度搜索,找出与用户问题向量最接近的知识片段。在这个例子中,它可能会检索到“客单价”的定义(
SUM(销售额)/COUNT(DISTINCT 订单数))、“渠道”表的结构信息等。
- 语义搜索: 系统在向量数据库中进行相似度搜索,找出与用户问题向量最接近的知识片段。在这个例子中,它可能会检索到“客单价”的定义(
-
- 增强Prompt并生成: 系统将检索到的这些上下文信息,与用户的原始问题,共同组合成一个内容丰富的Prompt,发送给LLM。这个Prompt可能看起来像:“背景知识:客单价定义为...,渠道信息在表channel中。用户问题是:上季度客单价最高的渠道是哪个?请根据背景知识生成DSL。”
-
- 精准输出: 基于这些被“喂”到嘴边的精准上下文,LLM能够轻易地生成正确的DSL,因为它不再需要去“猜”客单价是什么。
正如HelioCampus的一篇博客生动比喻的那样,语义层就是“一本给LLM的详细说明书”,而RAG则是确保LLM在回答问题前“认真阅读了这本说明书”的关键技术。这一策略从根本上解决了LLM缺乏业务知识和上下文的痛点,是抑制模型“幻觉”、提升准确率最有效的手段之一。多项研究和实践表明,RAG能够显著提升AI系统回答的准确性、时效性,并能提供答案来源,增加结果的可信度。
精调Prompt工程,设计与LLM沟通的“艺术”
是什么: Prompt工程是设计、优化与LLM交互的输入文本(即Prompt)的学科。如果说RAG是为LLM提供了正确的“原材料”,那么Prompt工程就是制定了一份清晰的“加工说明书”。一份精心设计的Prompt能够清晰、无歧义地向LLM传达任务指令、约束条件和期望的输出格式,从而引导其生成高质量、高符合度的结果。
为什么有效: LLM的输出质量对其接收到的输入高度敏感。GenApe.ai的文章中对比了“无效Prompt”和“有效Prompt”,一个模糊的提问如“写一篇关于XXX的文章”,得到的结果往往泛泛而谈;而一个明确的Prompt如“你是一位XXX领域的资深专家,请为行业新人写一篇关于OOO的文章,字数限制在300字”,得到的结果则会精准得多。
怎么做(关键技术): 在ChatBI场景中,常用的Prompt工程技术包括:
- • 角色设定(Role-Playing): 在Prompt中为LLM赋予一个特定角色。例如:“你现在是一个资深的数据分析师,精通我们公司的业务指标,你的任务是将用户的自然语言问题翻译成结构化的DSL。”这能有效引导模型以更专业的视角进行思考。
- • 提供示例(Few-Shot Prompting): 在Prompt中给出几个“输入-输出”的成功范例,让LLM通过“依样画葫芦”来学习。例如,提供几个“自然语言 -> DSL”的转换示例,可以帮助模型快速掌握DSL的语法和格式。
- • 思维链(Chain-of-Thought, CoT): 这是一种强大的技术,它指示模型在给出最终答案前,先“一步一步地思考”并展示其推理过程。例如,可以要求模型:“请分步思考:首先,识别用户问题中的所有指标;然后,识别所有的维度;最后,确定过滤条件。基于以上分析,生成最终的DSL。”研究表明,CoT能显著提升LLM在复杂推理任务上的准确性。
- • 指令明确与约束添加: 清晰地告知模型任务目标、输出格式、禁止行为等。例如:“输出必须是严格的JSON格式”、“不要自己编造不存在的字段名”、“如果用户意图不明确,请回答‘无法理解’”等。
支持多轮对话,通过“追问”实现意图迭代澄清
是什么: 真实世界的数据分析过程很少是一蹴而就的,它本质上是一个探索性、渐进式的过程。用户往往从一个模糊的想法开始,通过不断的下钻、切换维度、增加过滤条件来逐步聚焦到问题的核心。因此,一个只能处理单轮问答的ChatBI系统是远远不够的。多轮对话能力,特别是支持系统主动“追问”以澄清意图的能力,是提升复杂场景下准确率的关键。
为什么有效: 当系统通过意图识别环节检测到用户的提问存在歧义或信息不足时,一个智能的系统不应该去“猜”,而是应该主动向用户发起澄清式对话,将选择权交还给用户,通过迭代交互来锁定用户的真实意图。
怎么做(实现方式): 腾讯在其SiriusBI系统的论文中,重点介绍了一个名为MRD-Q(Multi-Round Dialogue with Querying)的模块。其核心思想是,在系统中内置一个“意图澄清模块”。当用户输入“分析一下北京大区的销售情况”时,如果系统发现“销售情况”这个词可以对应“销售额”、“销量”、“利润”等多个指标,它不会贸然选择一个,而是会向用户返回一个追问:“您想分析北京大区的哪个指标?A. 销售额 B. 销量 C. 利润”。用户做出选择后,系统才基于这个被澄清的、精准的意图去生成查询。这种机制,即使用户的初次提问存在缺陷或模糊不清,也能通过人机协作,最终实现精准响应。
引入多路校验,为查询结果设置“双重保险”
是什么: 即使架构再优越、Prompt再完美,也不能100%保证LLM的输出永远正确。因此,在查询真正被执行前,甚至在执行后,增加一道或多道“质检”环节,是保障最终结果准确性的最后一道防线。这就像在生产线上设置了多位质检员,对产品进行交叉检查。
为什么有效: 多路校验机制可以在错误造成实际影响(如返回错误数据、拖垮数据库)之前,将其拦截并修正,从而构建一个更具鲁棒性的系统。
怎么做(实现方式):
- • 静态规则校验: 这是最直接的方式。在LLM生成DSL或SQL后,系统可以先用一套预设的、确定性的规则进行检查。例如,衡石科技的架构中就包含一个“静态规则校验层”,它可以检查生成的查询中是否存在不存在的字段、字段类型是否匹配、是否违反了某些业务约束(如“利润率不能为负”)等。
- • 多模型共识(Ensemble Validation): 这种方法借鉴了机器学习中的集成学习思想。与其只依赖一个LLM,不如让多个不同的LLM(或同一模型的不同版本、不同Prompt)对同一个问题生成查询。然后,系统比较这些输出,选择被多数模型共同认可的结果。如果模型间分歧巨大,则可以认为此次生成的置信度低,并触发澄清或告警机制。一篇关于通过模型共识提升LLM可靠性的研究论文指出,该框架能将事实准确性和因果一致性的精确度从73.1%提升至93.9%以上,证明了其有效性。
- • 动态知识注入与校验: 除了静态规则,系统还可以动态地引入外部知识库进行更深层次的校验。例如,在金融风控场景中,当查询涉及到某些高风险操作时,系统可以调用风控规则库,判断该查询是否符合监管要求和内部风控策略。
综上所述,通过RAG为LLM注入知识、通过Prompt工程精细化引导、通过多轮对话澄清意图、再通过多路校验机制严格把关,这一套组合拳共同构建了一个从输入到输出的全链路准确率保障体系,是企业迈向可信赖ChatBI的坚实技术基础。
智能BI巅峰对决:主流产品技术路径与选型指南
理论和架构的探讨最终要落地到实际的产品选型中。当前,全球主流的BI厂商都在积极拥抱生成式AI,推出了各具特色的ChatBI功能。然而,拨开市场宣传的迷雾,深入其技术内核,我们会发现它们在实现准确率的路径上存在显著差异。本章节将对Power BI、Tableau、观远数据和DataFocus这四款代表性产品进行深度剖析,为技术团队提供一份清晰的选型指南。
产品一:Power BI + Copilot
核心AI能力: 作为微软Fabric数据与AI平台的核心组件,Copilot for Power BI深度集成于微软生态系统。其能力覆盖从报表页面的自动生成、数据摘要的创建,到辅助用户编写和解释复杂的DAX(Data Analysis Expressions)查询,甚至支持自然语言到SQL的转换。微软官方文档指出,Copilot旨在赋能从企业开发者到业务用户的各类人群。
技术路径与准确率策略: Power BI的AI能力强依赖于一个构建良好、遵循最佳实践的“语义模型”(Semantic Model)。这个语义模型本质上就是用户侧的数据模型。Copilot的准确率与用户对该模型的投入成正比。为了提升准确率,微软强烈建议用户:
- • 使用清晰的命名: 为表和列使用业务友好、无歧义的名称,避免缩写。一篇DZone的文章强调,将“tbl_rev”命名为“Revenue”能极大帮助Copilot理解。
- • 定义明确的关系和度量值: 建立逻辑清晰的表间关系(如星型模型),并预先创建关键的业务度量值(Measures),因为Copilot引用已定义度量值的效果远好于即时生成复杂聚合。
- • 丰富元数据: 为表、列和度量值添加详细的描述和同义词。例如,为“Revenue”添加描述“Total Revenue generated after discounts and before taxes”,并为其添加同义词“Sales”。
从技术路线上看,Power BI将构建和维护“语义层”的责任更多地交给了用户。其准确率的上限,很大程度上取决于用户数据建模的专业程度和规范性。Copilot通过读取这个高质量的语义模型来理解业务上下文,从而生成更准确的DAX或报表。
Power BI Copilot的“Suggestions with Copilot”功能,用户输入自然语言即可生成DAX查询建议
用户体验: 对话式体验流畅,尤其在DAX辅助方面表现突出。它可以根据自然语言生成DAX公式,并能对已有的公式进行解释,这对于初学者来说如同一个智能导师,极大地降低了Power BI的学习曲线。
适用场景: 深度绑定微软技术栈(Azure, Microsoft 365, Teams)的企业。这类企业通常拥有具备较强数据建模能力的技术团队,能够投入资源构建和维护高质量、标准化的语义模型,从而最大化Copilot的效能。
产品二:Tableau + Tableau Pulse/AI
核心AI能力: Tableau的AI战略主要体现在两大产品:Tableau AI和Tableau Pulse。Tableau AI是其平台AI能力的总称,包括对自然语言查询(NLQ)的支持(这是对其早期“Ask Data”功能的重大升级)和生成式摘要等。而Tableau Pulse则是一个全新的、主动式的洞察体验平台,它能自动检测数据变化,以个性化的指标卡片形式,通过Slack、邮件等方式将关键洞察推送给用户。
技术路径与准确率策略: Tableau的技术路径正积极地向NL2DSL架构靠拢。其核心是引入了“指标层”(Metrics Layer)的概念。这个指标层允许分析师一次性定义核心业务指标(KPI)和相关元数据,成为全组织可复用的“单一事实来源”。这与前文所述的语义层理念高度一致。在此基础上,Tableau还引入了“Lenses”的概念,允许数据源作者为特定受众创建和优化数据的子集,并通过添加同义词、排除不相关字段等方式,来提升自然语言查询的准确性。Tableau的帮助文档详细说明了如何通过这些方式优化数据以提升Ask Data(现为Tableau AI一部分)的性能。
Tableau Pulse的三层架构:指标层、洞察平台和新一代体验,并由Tableau AI全面增强
用户体验: Tableau的传统强项在于其无与伦比的数据可视化探索能力。其AI能力也继承了这一基因,强项在于能将用户的自然语言查询即时、自动地转化为高质量、交互式的可视化图表,鼓励用户进行更深层次的探索。Tableau Pulse则提供了“新闻订阅”式的体验,让用户无需主动分析,即可获知业务动态。
适用场景: 对数据可视化质量、交互式探索和业务敏捷性有极高要求的企业。这类企业通常拥有强大的分析师文化,重视通过数据发现问题,并希望将这种能力赋能给更广泛的业务用户。
产品三:观远数据 + ChatBI
核心AI能力: 观远数据的ChatBI产品定位为“基于LLM的场景化问答式BI”。它不仅局限于“问数”(查询数据),更致力于实现“问知”(结合知识库回答为什么)和提供“策略”(给出建议),形成分析决策闭环。其官网介绍,产品提供意图识别、知识召回、问题理解、数据查询、可视化生成等全链路能力。
技术路径与准确率策略: 观远数据明确采用NL2DSL技术路线,其架构的核心是“统一指标管理平台(观远Metrics)”。这一平台作为企业级的语义层,负责统一定义和管理所有核心指标的口径、维度、业务逻辑。为了提升准确率,观远数据采取了以下关键策略:
- • 构建可迭代的行业知识库: 针对其深耕的零售、消费、金融等行业,构建包含数据集表结构、字段示意、行业术语、指标口径及典型问答对的向量化知识库。这个知识库成为RAG技术的高质量“弹药”。
- • 强调“可干预性”: 观远数据强调,系统必须是可干预的,允许管理员对知识库进行维护和优化,确保AI的回答始终与业务实际保持一致。
- • 查询性能优化: 针对海量数据场景,观远BI提供了“高性能查询表”功能,该功能基于ClickHouse等分布式OLAP引擎,通过将数据转换为大宽表并利用其列式存储和并行计算能力,实现亿级数据的秒级响应。
用户体验: 强调与具体业务场景的深度融合。例如,在零售场景中,用户可以直接问“展示Z世代用户最近7天的品类偏好”。系统支持多端(Web、移动端)交互,并具备知识库自迭代能力,能够在使用中变得越来越“聪明”。
适用场景: 业务逻辑复杂、对指标口径统一性要求高、希望将AI分析能力深度嵌入业务流程的企业,尤其是在零售、消费品、金融等行业。这类企业追求的不仅是查询工具,更是一套能沉淀业务知识、保证全公司“用一种语言说话”的智能决策解决方案。
产品四:DataFocus + 智能问数
核心AI能力: DataFocus的核心是其自研多年的搜索式分析引擎,其AI能力集中体现在“智能问数”上。其产品理念是“让数据分析像搜索一样简单”,致力于让非技术人员通过自然语言问答即可完成数据探索。
技术路径与准确率策略: DataFocus采用了一种非常独特且高度工程化的“大模型+小模型”双引擎“抗幻觉”架构。这可以看作是NL2DSL路线的一种创新变体:
- • 大模型(小慧): 负责前端的自然语言理解。它将用户的提问进行意图识别和语义解析,但它不直接生成SQL或复杂的DSL。
- • 中间层(关键词): 大模型将理解后的意图,转化为一组结构化的“关键词”或查询意图表示。
- • 小模型(Focus Search): 这是DataFocus的技术壁垒。其自研的、经过数千万次真实查询锤炼的NLQ(Natural Language Query)引擎——Focus Search,接收这些关键词,并负责将其精确地、确定性地转换为最终的SQL查询。
这种架构的最大优势在于准确可控。一篇深度解析文章指出,该架构通过“关键词”中间层,将LLM的不确定性与自研小模型的确定性进行了解耦。LLM的“幻觉”被限制在语义理解阶段,而最终生成SQL的任务由一个高度优化的、可控的小模型完成,从而极大地保证了结果的准确性、高性能和安全性。此外,DataFocus也结合了Agent和RAG技术,通过多轮交互校验和召回历史优质SQL样本,进一步将准确率提升至新高度。
用户体验: 产品的交互体验非常接近于大家熟知的“搜索引擎”。用户输入问题,系统返回可视化的图表和答案,整个过程快速、直接,学习成本极低。
适用场景: 对查询结果的准确性有近乎“零容忍”要求的企业。希望将数据探索分析能力最大范围地普及到公司内每一位业务人员,尤其是那些完全没有技术背景的员工,真正实现数据的平民化。
横向对比与选型总结
为了帮助企业做出更明智的决策,我们将四款产品的核心差异总结如下表:
| 产品 | 核心技术路径 | 准确率保障核心 | 优势 | 选型建议 |
|---|---|---|---|---|
| Power BI + Copilot | 强依赖用户构建的语义模型 | 用户侧的数据建模质量与规范性 | 深度集成微软生态,DAX辅助强大,降低学习曲线 | 微软技术栈的忠实用户,拥有能维护标准化语义模型的IT团队。 |
| Tableau + Pulse | 指标层 + 可视化探索 (NL2DSL趋势) | 数据源优化、指标层与Lenses定义 | 顶级的可视化交互与探索体验,主动式洞察推送 | 对数据可视化和业务敏捷性要求极高,分析师文化浓厚。 |
| 观远数据 ChatBI | NL2DSL + 统一指标平台 | 厂商与客户共建的、可干预的行业知识库 | 业务逻辑统一,场景化深入,指标口径一致性高 | 业务逻辑复杂,希望统一全公司指标口径,实现AI决策闭环的行业客户。 |
| DataFocus 智能问数 | “大+小”模型抗幻觉架构 (NL2DSL变体) | 自研小模型对中间态“关键词”的精确解析 | 查询结果准确可控,性能高,使用门槛极低 | 对查询准确性零容忍,希望赋能最广泛业务人员进行探索式分析。 |
总结: 选型ChatBI产品,不应只看其接入的LLM模型有多先进,更应深入考察其处理业务语义的架构。对于企业而言,一个能够沉淀业务知识、保证逻辑一致、结果准确可控的语义层或等效机制,远比一个单纯的“SQL翻译器”更有价值。选择哪款产品,取决于企业的现有技术栈、数据文化、业务复杂度以及对准确率的最终要求。
总结:迈向可信赖的ChatBI之路
在数据成为企业核心资产的今天,ChatBI的出现无疑为“人人都是数据分析师”的愿景描绘了一幅激动人心的蓝图。然而,从技术炒作的喧嚣回归到商业价值的本质,我们必须清醒地认识到,准确率是支撑这幅蓝图的唯一支点。一个无法提供可信赖答案的ChatBI,最终只会被业务抛弃,沦为昂贵的技术摆设。
本文通过对影响准确率的三大环节(意图理解、问题改写、查询生成)的解构,以及对两大核心架构(NL2SQL vs. NL2DSL)的深度辨析,揭示了一个核心观点:ChatBI的准确率并非单纯取决于其背后的大语言模型有多么强大,而是一个复杂的、端到端的系统工程。它考验的是一个厂商从数据建模、语义理解到工程实现的全方位能力。
我们看到,对于追求企业级应用严肃性的厂商而言,NL2DSL结合语义层的架构已成为通往高准确率的共识路径。这条路径的精髓在于“分而治之”:将LLM擅长的、但不完全可控的“语义理解”任务,与传统BI平台擅长的、逻辑确定性的“查询执行”任务进行解耦。通过构建一个承载着企业业务规则、指标口径和数据模型的“语义层”或“指标中台”,将不确定的AI能力,锚定在确定性的业务语义基石之上。这不仅极大地降低了LLM产生“幻觉”的风险,更赋予了系统强大的可维护性、扩展性和安全性。
在此基础上,RAG、精细化的Prompt工程、支持澄清式追问的多轮对话、以及多路校验机制等技术,如同精密的零部件,共同组装成一个高准确率的保障体系。主流BI产品如Power BI、Tableau、观远数据、DataFocus等,尽管实现细节各异,但其提升准确率的策略都不约而同地指向了强化“语义层”的构建——无论是要求用户精心打造语义模型,还是由厂商提供统一的指标平台。
未来的竞争壁垒,将不再是谁能接入最新、最大的LLM模型,而在于谁能构建出更懂业务、更易于维护、覆盖更全面的语义层。正如HelioCampus的专家所言:“秘密武器不是AI工具本身,而是我们放入语义层中喂给AI工具的东西。”
最终,ChatBI的终极目标,是完成一场深刻的“架构革命”:将过去那些“隐藏在企业文档里、沉淀在资深员工脑海中的潜规则”,转化为机器可理解、可执行的精准指令。唯有如此,数据驱动的智能决策才能真正从口号变为现实,而通往这条可信赖ChatBI之路的钥匙,就握在那些既懂AI又敬畏业务语义的构建者手中。
企业级ChatBI落地指南:从技术选型到规模化应用的“三步走”策略
推荐语
企业级ChatBI落地指南:从技术选型到规模化应用的“三步走”策略,助你快速释放数据价值。
核心内容:
- 场景收敛:聚焦高价值业务闭环,避免泛化陷阱
- 上下文构建:让AI深度理解业务规则和数据关系
- 反馈迭代:持续优化ChatBI的准确性和实用性
正文
企业级ChatBI落地指南:从技术选型到规模化应用的“三步走”策略
在数字化转型进入深水区的今天,数据已成为企业决策的核心驱动力。然而,业务人员激增的临时取数需求与IT部门有限的响应能力之间形成了难以调和的矛盾。传统BI工具虽然功能强大,但其复杂的报表开发流程和对技术人员的高度依赖,往往导致数据分析响应滞后,分析逻辑“黑箱化”等问题。在此背景下,ChatBI(对话式商业智能)应运而生,它通过自然语言交互,让“人人都是数据分析师”的愿景成为可能。
然而,将ChatBI从一个新颖的概念成功转化为企业级的生产力工具,并非易事。许多企业在落地过程中容易陷入“为技术而技术”的陷阱,追求功能大而全的“通用问数机器人”,最终效果却不尽人意。本文旨在提供一套行之有效的ChatBI落地方法论,通过“场景收敛、上下文构建、反馈迭代”三步走策略,并结合主流产品深度对比,为企业提供从技术选型到规模化应用的清晰指南,帮助企业规避常见陷阱,真正释放数据价值。
第一步:场景收敛 —— 找准高价值业务闭环
核心理念:从“解决一个问题”开始,而非“回答所有问题”
成功落地ChatBI的首要原则是收敛。与其一开始就构建一个试图理解所有业务问题的通用问答平台,不如聚焦于一个或少数几个高价值、高频率、流程闭环的业务场景。这种策略不仅能快速验证ChatBI的价值,还能在可控范围内积累经验,为后续扩展奠定基础。
- • 高价值场景: 选择那些能直接影响决策、优化效率或降低成本的场景。例如,销售部门的“关键客户流失预警”、生产部门的“实时产能与订单匹配度分析”、供应链的“库存安全水位预警”等。
- • 闭环业务: 场景应具备清晰的输入、处理和输出环节。例如,在“用户画像分析”场景中,输入是用户行为数据,通过ChatBI分析其性别、地域、年龄、消费能力等分布,最终输出针对性的营销策略建议。这在《DataFocus教材 终稿》的案例中得到了充分体现。
- • 避免泛化陷阱: 过于宽泛的提问,如“公司最近经营状况如何?”,往往因为缺乏明确的指标和维度而难以回答。而具体的问题,如“统计各区域的销售额”,则能让ChatBI精确地调用“电商销售数据”表并给出答案,正如《曹徐前-竞品分析报告.md》中DataFocus的表现所示。
第二步:上下文构建 —— 让AI“懂”你的业务
核心理念:没有业务上下文的AI,只是一个空壳
ChatBI的“智能”程度,直接取决于其对企业业务上下文的理解深度。这需要将企业内部零散的数据资产、隐性的业务规则和行业术语,系统性地“投喂”给AI,构建一个专属的知识库。这一过程是确保ChatBI能够准确理解用户意图、避免“鸡同鸭讲”的关键。
构建上下文主要包括以下几个层面:
-
- 数据层上下文(数据关系): 明确数据表之间的关联是基础。通过预先定义表间关联(如内连接、左连接等),当用户提出跨表查询(如“可视化不同年龄用户的平均订单金额”)时,系统才能自动匹配“订单信息表”和“用户信息表”,给出正确结果。DataFocus的动态关联功能,甚至能根据查询维度智能调整关联规则,适应更复杂的宏观统计场景。
-
- 语义层上下文(业务术语): 企业内部充满了各种“黑话”和行业术语。必须让ChatBI理解这些术语的计算逻辑。例如,当用户提问“可视化2024年各月份的同比增长率”时,一个优秀的ChatBI系统应能自动解析“同比增长率”这一行业术语并执行相应的计算,而不是仅仅返回基础的销售金额。
-
- 指标层上下文(个性化定义): 业务部门常常有自己独特的指标定义,如“优质单(销售额 > 100)”。通过公式或指标定义功能,可以将这些个性化业务规则沉淀到系统中。这样,当用户查询“计算各区域的优质单订单数”时,系统就能准确执行筛选和计算。
在实践中,如DataFocus等工具提供了“搜索拓展”功能,允许用户为列中值自定义同义词(如将“博士及以上”定义为“最高学历”)、自定义关键词和业务规则,这正是构建和沉淀业务知识库的有效手段。
第三步:反馈迭代 —— 持续优化的智能进化
核心理念:用户的每一次交互,都是优化的契机
ChatBI系统并非一蹴而就,而是一个需要持续迭代和优化的生命体。建立一个有效的用户反馈机制,是驱动其智能进化的核心引擎。用户的每一次提问、每一次点击、每一次对结果的评价,都应被视为宝贵的训练数据。
- • 建立反馈闭环: 为用户提供便捷的反馈渠道,例如“点赞/点踩”按钮、错误标记功能或意见反馈框。当ChatBI给出错误或不理想的回答时(如出现“AI幻觉”),用户可以及时标记,帮助系统识别问题。
- • 监控与分析: 后台应记录和分析高频问题、查询失败的语句和用户修正的行为。这有助于发现知识库的盲区(如对“长三角城市群”这类未定义地理概念的理解不足),并反哺到第二步的上下文构建中,持续完善知识库。
- • 模型与规则的持续优化: 反馈数据不仅可以用来优化知识库,还可以用于微调底层的AI模型和查询逻辑。先进的ChatBI系统,如FocusGPT,能够根据用户的使用习惯不断优化和进化,成为越来越懂业务的数据分析伙伴。
请记住,ChatBI的落地是一个动态过程。通过“场景收敛 -> 上下文构建 -> 反馈迭代”的循环,才能逐步将ChatBI打造成真正能解决业务问题、赋能全员决策的强大工具。
主流智能BI产品深度对比
技术选型是ChatBI落地过程中的关键一环。不同的产品在技术架构、核心能力和适用场景上存在显著差异。我们选取了市场上五款具有代表性的智能BI产品进行深度对比,以助企业做出明智决策。
五大智能BI产品概览
| 产品 | 核心AI能力 | 自然语言理解 (NLP) | 知识库构建 | 部署模式 | 目标用户 |
|---|---|---|---|---|---|
| DataFocus (FocusGPT) | FocusGPT、小慧智能体 | 强大,尤其在中文语义、多轮对话和动态表匹配方面表现突出。 | 支持自定义指标、术语解析、同义词及关键词扩展。 | 云/本地 | 业务人员、数据分析师 |
| Tableau (Tableau Pulse) | Tableau Pulse、Tableau AI | 发展中,偏向于结构化指令,对复杂自然语言理解能力有限。 | 依赖于标准化的数据建模和元数据管理。 | 云/本地 | 专业数据分析师 |
| Microsoft Power BI (Copilot) | Copilot in Fabric | 强大,深度集成大模型,支持跨报表、数据集的自然语言问答。 | 利用Fabric生态进行统一的语义模型管理。 | 云/本地 | 业务人员、开发者 |
| Alibaba Quick BI (智能小Q) | 智能小Q (集成DeepSeek等) | 强大,深度适配国内业务场景,支持“对话即建模”。 | 通过智能小Q的Agent能力,结合数据建模进行知识沉淀。 | 云/本地 | 业务人员、数据分析师 |
| Google Looker Studio | Conversational Analytics | 良好,尤其在Google生态数据源内表现出色,支持自然语言提问。 | 依赖于Looker的建模层(LookML)进行语义定义。 | 云 | 市场营销人员、数据分析师 |
产品深度解析
DataFocus (FocusGPT)
DataFocus的核心优势在于其以中文自然语言为驱动的全流程自动化能力。它不仅能理解复杂的中文提问,还能在对话中实现无目标表启动、动态切换数据源和多表自动关联,这在竞品中是显著的差异化优势。其知识库引擎能自动解析“同比增长率”等行业术语,并支持灵活的业务归因分析,一键生成可编辑的报告,效率远超传统BI工具。这使其成为最适合非技术背景业务人员实现敏捷分析的“平民化BI”工具。
Tableau (Tableau Pulse)
Tableau长期以来以其顶级的专业可视化和深度交互分析能力著称。它为专业数据分析师提供了强大的拖拽式操作和灵活的仪表盘构建功能。然而,在ChatBI浪潮下,其AI能力的自动化和智能化程度相对不足。如竞品分析报告所示,Tableau在动态表加载、术语解析等方面仍依赖大量手动操作,学习曲线较陡,更偏向于“专家级工具”,适用于数据分析团队成熟的大型企业复杂场景。
Microsoft Power BI (Copilot)
Power BI借助微软强大的生态系统,通过集成Copilot,实现了AI能力的巨大飞跃。Copilot不仅能帮助用户通过自然语言创建报表和模型,还能在整个Microsoft Fabric平台中进行数据对话,实现跨数据源的智能问答。其优势在于与Office 365、Azure等产品的无缝集成,为企业提供了端到端的数据解决方案,对开发者和业务用户都极具吸引力。
Alibaba Quick BI (智能小Q)
作为国内BI市场的领军者,Quick BI深度融合了阿里云的大模型技术,其核心AI助手“智能小Q”表现出色。它提出的“对话即建模”、“对话即分析”理念,极大地降低了数据分析的门槛。Quick BI特别针对国内企业复杂的报表需求和业务场景进行了优化,在本土化服务和生态集成方面具有明显优势,是国内企业实现智能化数据分析的有力选择。
Google Looker Studio
Looker Studio(原Google Data Studio)以其免费、易用和与Google生态(如GA4、Google Ads、BigQuery)的深度集成而广受欢迎。其“Conversational Analytics”功能使用户能用自然语言探索数据。然而,其性能在处理大规模或非Google系数据源时可能会受到限制,且其强大的语义层能力依赖于付费版的Looker平台。它更适合以Google生态为核心、对成本敏感的中小企业或营销团队。
数据安全与合规:不可逾越的底线
在拥抱ChatBI带来的便利时,数据安全与合规是企业必须坚守的底线。尤其是在大模型时代,数据隐私和安全风险变得更加复杂。企业在选型和部署时,必须将安全作为首要考量因素。
云端部署 vs. 本地部署
ChatBI的部署方式直接关系到数据的控制权和安全性。
- • 云端部署 (Cloud): 如DataFocus Cloud、Tableau Cloud等,提供了开箱即用、弹性伸缩、免维护的便利。服务商通常具备强大的安全防护能力和合规认证。但企业需关注数据存储的地理位置、跨境传输的合规性以及服务商的数据隐私政策。
- • 本地/私有化部署 (On-Premise/Private Cloud): 这种方式将ChatBI系统和数据完全部署在企业自己的服务器或私有云中,提供了最高级别的数据控制和安全保障,能更好地满足金融、政务等高敏感行业的数据合规要求。近年来,随着Ollama、DeepSeek等开源模型的普及,本地化部署AI能力已成为一种重要趋势。DataFocus等产品也提供本地化部署选项,以满足不同企业的安全需求。
核心安全能力考量
在评估ChatBI产品时,应重点考察其内置的安全与治理功能:
一个健全的治理方法能够为数据和内容的安全、访问和流程建立护栏,从而为组织中的每个部门、团队和个人创建一个受信任和安全的分析环境。
— Tableau Blueprint
- • 权限管理: 系统应具备精细化的权限控制能力,包括用户、角色、行级/列级权限管理,确保用户只能访问其被授权的数据。DataFocus和Tableau等主流工具都提供了强大的权限管理模块。
- • 数据加密与网络隔离: 数据在传输和存储过程中应全程加密。Power BI等平台利用Azure Private Link等服务,可将数据暴露在公共互联网的风险降至最低。
- • 合规认证: 考察产品是否通过了国际和行业的主流安全与合规认证,如HIPAA、FedRamp等。
- • 数据脱敏与审计: 对于敏感数据,应提供脱敏处理能力。同时,系统应有完整的操作日志,支持安全审计和风险追溯。
结论:战略先行,技术致胜
成功实施企业级ChatBI,绝非简单地采购一套软件,而是一项涉及业务、技术和管理的系统工程。企业必须摒弃“一步到位”的幻想,遵循“场景收敛、上下文构建、反馈迭代”的三步走策略,从解决一个具体问题开始,逐步构建起懂业务、可信赖的智能分析能力。
在技术选型上,DataFocus以其领先的中文NLP能力和自动化优势,为业务人员赋能;Power BI和Quick BI则分别依托微软和阿里的强大生态,提供端到端的智能解决方案;Tableau依然是专业分析领域的王者;Looker Studio则为中小企业提供了高性价比的选择。企业应根据自身的业务场景、技术储备和安全要求,做出最适合自己的选择。
最终,ChatBI的价值不在于技术本身有多炫酷,而在于它能否真正融入业务流程,将数据洞察转化为驱动增长的实际行动。这需要战略的耐心和持续的投入,方能在这场由AI引领的数据革命中占得先机。
从"勉强可用"到"真正可用":ChatBI的破局之道与思迈特实践 |爱分析调研
推荐语
ChatBI如何突破"勉强可用"瓶颈?思迈特Smartbi AIChat的实战经验为行业提供了可复制的解决方案。
核心内容:
- 当前ChatBI产品面临的六大核心痛点分析
- 思迈特Smartbi AIChat在金融、央国企等复杂场景的实战验证
- ChatBI未来发展的双轮战略与技术路线图
正文
摘要
随着企业对数据分析需求的不断增长和智能化转型的加速推进,ChatBI作为一种新兴产品逐渐进入企业用户的视野。然而,当前ChatBI产品在准确率、稳定性、易用性、安全性、高级分析能力和灵活表达能力等方面仍存在诸多不足,特别是在金融、央国企等复杂业务场景中表现尤为明显。本文深入分析了ChatBI市场需求与供给现状,探讨了其存在的问题,并以行业代表性产品思迈特Smartbi AIChat为例,剖析了如何通过技术创新和产品优化来弥合供需差距,推动ChatBI从"勉强可用"向"真正可用"转变。该产品已在金融、大型央国企等多个高要求行业完成实战验证,形成了可复制的能力闭环。同时,文章还探讨了ChatBI未来的发展趋势,包括半自动化Agent和全自动Agent两条技术路线,以及思迈特的“双轮”产品战略,旨在为行业提供参考和启示。01
ChatBI进入企业视野,但“勉强可用”问题多随着智能化转型的加速推进,众多企业纷纷投身于大模型技术应用的探索之旅。据爱分析调研数据显示,在2025年,大模型最为关键的应用场景当属数据分析。在应用大模型的企业中,选择将数据分析作为应用场景的比例高达75%。图表1:2025年大模型重点应用场景
在此背景下,新需求催生了新供给,ChatBI逐渐进入企业用户的视野范畴。ChatBI的核心目标是实现“数据分析民主化”,旨在彻底攻克传统数据分析方式所面临的沟通难题以及效率低下等诸多困境。然而,鉴于ChatBI目前仍处于发展初期阶段,各类问题接踵而至,致使大多数ChatBI产品仅处于“勉强可用”的状态,距离真正达成“数据分析民主化”的目标仍存在较大差距。尽管ChatBI所采用的自然语言交互方式为企业带来了全新的体验感,但由于整体体验欠佳,难以在实际业务场景中真正落地并投入使用。在2023年和2024年期间,诸多ChatBI项目在概念验证(POC)阶段便遭遇挫折,即便部分项目成功上线,也未能有效发挥其应有的作用。爱分析通过对数十家已采购或正在考虑采购ChatBI的央国企和大型民营企业进行深入调研,涵盖金融、能源电力、工业制造、物流运输、消费品零售等行业,梳理并总结出了当前市场中存在的产品能力供需差距情况。图表2:ChatBI产品能力供需现状对比
1.准确率与稳定性瓶颈准确率低下是当前企业用户关注的首要问题。在早期,部分企业对ChatBI的能力存在过度乐观的预期,甚至期望其准确率能够达到100%。然而,经过1至2年的市场教育与实践探索,企业逐渐形成了更为理性的共识:在企业应用场景中,若ChatBI的准确率能够稳定保持在90%以上,则可视为具备基本的可用性。调研显示,2024年初大多数ChatBI产品的准确率约70%,随着技术的发展与优化,综合准确率普遍有所提升。但从腾讯对市面上大量大语言模型text2SQL能力的测试来看,该关键能力的准确率基本在62%-79%,可见当下产品在数据处理准确性方面,仍存在显著提升空间。综合准确率之所以难以突破80%这一瓶颈,主要在于复杂场景的查询需求对准确率产生了较大的拉低影响。在与众多企业的交流过程中发现,企业用户往往并不满足于简单的数据查询,而是更倾向于进行深入的分析。例如,用户可能先询问“今年哪几个销售做得比较好”,随后又会进一步追问“去年这几个销售的业绩如何”“在哪些行业表现较好”等,形成一连串的复杂问题。目前,大多数ChatBI产品在应对这类复杂连续问题时存在一定的困难,进而导致整体准确率出现下滑。与准确率问题紧密相连的,还有ChatBI的稳定性问题。如果面对同一问题,ChatBI给出的两次回答存在差异,这同样难以获得企业用户的认可。为了提升稳定性,一些厂商尝试对基础大模型进行微调,但从实际效果来看,在稳定性提升程度以及成本投入两方面综合考量,这种解决方案并不具备足够的适用性。2.易用性不足制约应用易用性是企业提及率最高的方面,主要涉及以下五点:
- 企业对ChatBI生成的结果存在信任问题,在结果出来后,希望查看生成过程,但一般没有相应功能,往往需要回到BI翻表验证。
- 业务人员可能要上传自己的Excel文件,但目前市面上的产品大多需要先导入,导入后还要进行中间的建模过程,若要与之前的模型关联,还需涉及IT部门,基本不允许业务用户直接导入Excel数据进行分析。
- 大多的ChatBI在分析前需要用户先选择数据模型以提升准确率,如分析经营就选经营模型,看会员就选会员模型。不熟悉业务的人常在第一步就卡住,问错模型就得重新来过。企业用户自然希望无需选数据模型,直接提问,让AI自动理解问题。
- 一些用户不想将Excel导入ChatBI再分析,而是希望点击进入Excel后,在页面内直接与AI对话,但当前的ChatBI大多不具备此功能。
- 大型企业管理层日常通过微信沟通,希望在移动端提问,并能将管理层关注的数据/指标每天推送给他们,以更好地体现ChatBI的价值。
3.安全性短板引发担忧企业内部通常设有不同级别的数据访问权限,例如普通员工、经理、CXO等各级人员所能访问的数据范围各不相同。然而,部分ChatBI产品在权限精细化管理方面存在不足,这在一定程度上影响了数据的安全性。企业普遍担忧ChatBI接入后可能出现数据泄露或滥用的情况,尤其是涉及财务、企业信息等敏感数据领域。尽管大多数ChatBI产品在常规场景下能够满足基本的安全要求,但在一些复杂场景下却显得力不从心。以银行为例,其内部存在特别复杂的权限体系。一方面,银行可能拥有多种组织架构,需要适配不同架构下的权限设置;另一方面,可能存在员工虽然归属于某个部门,但同时分管其他部门的情况,这就要求ChatBI能够精准地为这类员工分配跨部门的数据访问权限。然而,目前部分ChatBI产品无法有效应对这类复杂场景,导致一些员工可能需要多个账号来分别满足不同部门的数据访问需求,这不仅给用户带来了不便,还可能引发数据汇总等操作上的困难,进一步凸显了其在权限管理方面的局限性。除了权限管理问题,ChatBI还可能面临其他安全风险。如产品采用NL2SQL(自然语言转SQL)方案,这在技术实现上虽有其优势,但也可能带来SQL注入风险。如果攻击者获取了相关接口,就有可能篡改SQL语句,进而绕过安全校验,获取本不应访问的数据。4.高级分析能力有待提升高级分析能力通常是通过插件或接口的形式进行扩展的,因为目前ChatBI的核心功能主要集中在数据查询和返回上,主要通过NL2SQL、NL2Python或NL2API等方式实现。然而,对于其他分析方案、思路的实现,往往需要借助插件来完成,这些插件本质上就是高级分析能力的体现。目前,市面上的ChatBI厂商大多宣称具备归因分析能力。例如,找出上个月销售额下降的原因,ChatBI可以通过SQL查询列出所有相关维度和属性,但并不进行深入判断,而是让用户自行判断,这属于较为基础的归因分析。在预测方面,企业对ChatBI的期望也较高。例如,企业希望ChatBI能够根据预期的增长率(如每月增长3%)进行预测,并给出明确结论。然而,目前多数ChatBI产品在预测功能上仍较为简单,通常只是基于前三个月的数据进行平均计算,然后根据增幅进行简单预测,缺乏更复杂的预测模型和算法支持。报告生成也是ChatBI高级分析能力的重要组成部分,但目前市面上大部分的ChatBI产品在这方面表现欠佳。这类产品只能基于查询结果进行简单总结,无法生成完整的报告。即使能够生成报告,与ChatGPT、豆包等智能问答工具生成的报告相比,也难以看出明显差异,缺乏专业性和深度。5.灵活表达能力受限在用户需求侧,除了准确率、稳定性、易用性和安全性这些刚需外,企业用户还希望ChatBI能够支持灵活表达。用户不仅希望查询数据,更希望通过数据分析解决业务问题。既然ChatBI赋予了用户自由表达的能力,就不应该再去限制用户的问法。用户希望以自然语言的方式提出问题,而ChatBI能够理解并给出答案,无论是简单的数据查询还是复杂的业务分析。然而,在供给侧,市面上大部分的ChatBI产品会限制用户的提问方式。这些产品往往要求用户按照固定的格式或规则提问,例如“查询某机构某指标某日期的数据”,这种限制使得用户难以自由表达真实的业务需求。例如,用户可能希望直接问“某指标为何出现异常下降”,或者“找出业绩突出的几个销售”,而不是按照固定的格式提问“根据上个月的销售额给我排个序,然后找出前三的”。这种对提问方式的限制,使得ChatBI在实际应用中难以满足用户的灵活表达需求,进而影响了其在企业中的广泛采用。02
Smartbi AIChat:弥合供需差距,迈向“真正可用”作为数据分析领域的代表性厂商之一,思迈特自2011年成立以来已服务5000多家企业客户,积累了较为丰富的行业实践经验。其产品体系全面支持DeepSeek、阿里Qwen系列、智谱清言GLM、科大讯飞星火、ChatGPT等主流模型接口,能够适配不同企业的技术架构需求。Smartbi AIChat是思迈特基于指标平台,结合大语言模型、AI Agent及BI数据分析技术开发的企业级对话式分析平台,于2024年8月正式发布。该产品的设计针对当前ChatBI在准确率、稳定性、安全性和复杂分析能力等方面的短板,尤其注重在高要求行业场景中的实际可用性。IDC发布的《2025中国GenBI厂商技术能力评估》报告显示,其在数据分析、大模型能力等七项平台技术能力及金融与央国企两项行业能力总分第一。目前,Smartbi AIChat已在银行、保险、证券及制造业等领域的头部企业得到应用,同时在部分政府机构完成部署。其技术架构不仅具备前瞻性设计,更在金融、大型央国企等高复杂度场景中完成了工程化验证,形成了可标准化交付的能力闭环。1.准确率与稳定性提升路径Smartbi AIChat通过基于指标模型获取统一可信的全域数据,结合全面的RAG(检索增强生成)技术增强大语言模型在业务理解、映射、SQL生成等方面的准确性。RAG技术通过结合企业私域知识库与指标模型,使Smartbi AIChat在初次使用时即可达到约90%的准确度,而在特定场景下,准确率甚至可高达99%。在稳定性方面,Smartbi AIChat采用了一种基于经验积累的方案,即“点赞记忆”机制。例如,当用户询问“今年的业绩情况”这一较为宽泛的问题时,大模型会尝试猜测哪些指标属于“业绩情况”,但由于每次猜测的结果可能不同,这可能导致回答的不稳定性。为了解决这一问题,Smartbi AIChat引入了用户反馈机制:当模型给出正确的回答时,用户可以进行“点赞”操作。点赞后,系统会自动将这一正确的回答及其对应的指标记忆保存下来,作为长期记忆。在后续类似问题的查询中,系统会自动匹配并优先使用这些经过用户验证的正确答案,从而保证了回答的稳定性。这种基于用户反馈的“点赞记忆”机制是目前较为高效的方法,但据观察,目前市场上的其他ChatBI产品尚未广泛采用此类方法。2.易用性优化Smartbi AIChat在易用性方面进行了多项优化,以满足企业用户对高效数据分析的需求。
- 一键跳转透视分析:Smartbi AIChat的对话结果支持一键跳转至“透视分析”页面。用户在对话中查看分析结果后,可直接点击按钮进入透视分析界面,在熟悉的分析工具中自由拖拽字段、验证计算逻辑以及继续深入挖掘数据。
- Excel数据融合分析:Smartbi AIChat将支持业务人员上传Excel进行融合分析。用户可以上传Excel文件,并直接基于Excel数据与企业内部数据进行关联分析,而无需经过复杂的导入和建模过程,也无需涉及IT部门。
- 模型自动推荐:Smartbi AIChat支持“模型自动推荐”功能。用户只需提出问题,系统会自动理解业务语境并智能推荐最匹配的数据模型。如果问题存在歧义,系统会主动反问用户的具体意图,再进行推荐。这一功能使得即使是首次使用的用户也能轻松上手,无需深入了解不同问题对应的数据模型,让分析更加准确高效。
- AIChat报表助手:Smartbi AIChat具备独立的AIChat报表助手功能模块,这是一款基于现有报表资源打造的智能对话分析工具。通过在报表页面新增“AI问答”入口,用户可以实现用自然语言与数据直接对话,让报表“开口说话”。
- 移动端体验升级:Smartbi AIChat对移动端体验进行了升级,支持微信小程序和企业微信。无论用户是在外出差、上下班途中,还是在会议前临时需要数据,Smartbi AIChat的移动端都能轻松应对,满足用户随时随地获取数据的需求。
案例:某头部券商的应用实践某头部券商面临着业务数据海量化和指标维度繁复的挑战。传统报表和看板虽然实现了数据可视化,但缺乏灵活性,无法满足业务人员的即时分析需求。业务人员在使用传统报表时面临三大痛点:定制报表缺乏灵活性、报表制作和查询响应效率低、数据分析门槛高。该券商调研了市场上的ChatBI产品,发现虽然支持自然语言对话,但使用起来仍然不方便,学习成本高。基于对主流ChatBI的对比评估,该券商上线Smartbi AIChat,业务人员能够即时获取所需数据,无需等待漫长的开发周期或外部团队的介入。取数分析周期大大缩短,显著提升了工作效率。Smartbi AIChat的易用性使得业务人员能够快速上手,无需复杂的培训,真正实现了数据分析的民主化。3.安全性强化Smartbi AIChat在安全性方面采取了多项措施,以满足企业对数据安全的严格要求:
- 金融级数据管控:Smartbi AIChat采用操作权限、资源权限、数据权限三重控制机制,实现数据访问的精细化管理,确保不同级别的用户只能访问其被授权的数据范围,从而有效防止数据泄露和滥用。
- 私有化部署:Smartbi AIChat支持本地化部署,企业无需依赖公有云,这大大降低了数据外泄的风险,提升了数据的安全性。私有化部署使企业能够更好地控制数据的存储和访问,满足对数据安全有较高要求的场景。
- 符合国家安全标准:Smartbi AIChat通过了“三级等保”认证,这一认证表明其符合国家对信息安全的严格要求,能够满足金融、政府、能源等高安全性行业的合规需求。
- SQL注入防护:为了应对SQL注入风险,思迈特采用OLAP多维数据模型方案,在数据处理过程中对所有SQL语句进行中间过滤,有效防止了SQL注入攻击,从而增强了系统的安全性。
4.高级分析洞察深Smartbi AIChat在高级分析方面表现出色,尤其是在复杂场景的归因分析和预测分析上,展现了强大的功能。
- 归因分析:在面对复杂场景的归因分析时,用户仅需轻松输入问题,Smartbi AIChat能够迅速调用适配的归因分析插件,高效完成归因分析,并精准呈现关键因素与策略建议。其达成多指标因果分析的关键步骤如下:1.自主定制因果图谱:多指标归因分析的第一步是精准获取目标指标与其他指标的关系。Smartbi AIChat为此配备了因果图谱自定义功能。分析前,用户可以通过可视化操作轻松搭建指标间的因果图谱,并根据业务变化随时调整优化,快速理清指标之间的联系。2.按需创建挖掘模型:Smartbi拥有专业的机器学习工具,内置丰富的算法组件,用户可根据实际业务需求选择合适的算法组件来自定义模型。例如,因果分析组件以结构因果算法为核心,能够科学深入地计算指标间的因果关系,适用于多指标因果分析。3.Python调用归因分析模型:Smartbi AIChat采用AI Agent智能体技术,借助Python融合Smartbi的专业机器学习能力,能够依据不同场景智能调用适配的挖掘模型,精准洞察复杂问题。对于多指标归因分析,Smartbi AIChat根据预设的因果图谱精准获取数据,并通过Python调用相关归因分析模型,深入剖析指标因果关系及其影响较高的维度因素,全面挖掘数据背后的规律。
- 预测分析及报告生成:思迈特充分发挥技术优势,Smartbi AIChat 借助 Python 插件扩展预测性算法,既支持按省份、区域等多维度精准预测,处理高阶分析任务,还能叠加各类算法因子并识别异常;同时,依托专家报告插件,可自动生成报告,如用户发现问题可通过对话进行修改,相比传统人工编制大幅提升效率与分析灵活性。
- 专家模式:据了解,Smartbi AIChat配备了一种专家模式,该模式具备深度洞察力,能够模拟人类分析师的思维链路。它支持对复杂问题进行任务拆解和多维度验证,使数据思考过程可视化且可修正。例如,当用户有分析想法但不确定如何提问时,他们可以直接向Smartbi AIChat提出想法。该系统能够根据用户的想法拆解任务,列出思考计划和步骤,并逐一完成分析,最终提供数据洞察报告。这种功能有助于使决策过程更加智能和高效。
案例:某大型制造企业的应用实践某大型制造企业面临产品同质化加剧和价格战的挑战,报价过高会导致客户流失,过低则会压缩利润。采购方价格敏感度各异,企业需在利润率与竞争力之间找到平衡。一线销售常被复杂报价工具或Excel表格困扰,操作繁琐、规则调整难,直接影响响应速度和成交率。引入Smartbi AIChat ,为破解这一困局提供了新思路。它依托上下文语境理解能力,支持基于历史信息的多轮问答,以及Python算法插件,迅速测算出产品毛利率与边际毛利率,帮助销售团队快速评估盈利空间。以AI驱动销售场景,帮助一线人员快速掌握成本、利润及定价数据。通过智能分析与测算,销售团队能快速响应市场变化,优化报价策略,为客户提供更具竞争力的方案,从而赢得更多商机。5.灵活表达能力的突破Smartbi AIChat不仅解决了常规的数据查询与分析问题,还通过以下方式突破了灵活表达能力的限制:
- 常规的数据查询与分析:Smartbi AIChat能够处理从简单的数据查询到复杂的归因预测和多步计算等任务,满足用户多样化的分析需求。
- 基于Agent平台可编排的分析:Smartbi AIChat支持基于Agent平台的可编排分析,用户可以根据自身业务场景灵活构建独立的Agent BI应用。例如,通过配备OCR插件、爬虫插件、生成Word报告插件、生成PPT插件等,用户能够根据具体需求进行定制化开发,应对专属场景。
- 专家模式:Smartbi AIChat的专家模式能够处理泛化性问题,支持用户以自然语言提出各种业务问题,而不仅仅是固定的查询格式。
案例:某企业对Agent平台的应用实践近期,在某项目中,思迈特成功地将BI的查询功能进行了拆分和扩充,提供了更为丰富的分析工具。项目初期,思迈特实现了基础的查询功能,随后增加了图形生成插件和Word报告生成插件。通过这些插件的协同工作,思迈特为客户交付了一个编排的报告工作流,该工作流能够直接生成专属的分析报告。这一解决方案不仅提高了报告生成的效率,还使得非技术背景的用户也能够轻松创建专业的分析报告,从而显著提升了业务决策的质量和速度。03 ChatBI的下一站:Agent BI如何突破现有局限
1.ChatBI技术演进:从半自动化Agent BI到全自动Agent BI的发展路径爱分析调研显示,Agent技术正逐步成为ChatBI厂商的核心架构方向,推动行业向Agent BI阶段演进。基于对多家头部厂商的技术路线分析,这一趋势已成为行业共识,预计将带动市场规模化发展。从技术路径来看,Agent BI的发展主要分为两个阶段。第一阶段是半自动化Agent BI,厂商将预定义的分析思维嵌入到Agent BI中,企业只需接入自身数据即可使用。这种Agent BI基于规则定义的流程,按照预设的分析思路执行任务。这种方式相对成熟,已有厂商推出了相关产品。第二阶段是全自动Agent BI,它采用AGI(通用人工智能)的思路,实现完全自动化的分析和交互。然而,要达到真正易用和可用的状态,这种全自动Agent BI仍有很长的路要走。2.思迈特的产品实践:双轨推进Agent BI落地应用Smartbi AIChat作为ChatBI领域的先行者,同时也是当前国内真正具备Agent BI核心特征的代表性产品,其产品规划不仅展现了思迈特对当前市场需求的深刻理解,也反映了对未来市场趋势的前瞻性思考,同样值得借鉴。从长远来看,思迈特将持续致力于开发全自动的Agent BI,推动ChatBI进入新的发展阶段。届时,户只需输入一个命题,Agent BI便能自动寻找数据、运用工具并生成结果。思迈特认为这是未来的发展趋势,但目前实现这一目标仍面临诸多挑战,因此在短期内这一愿景可能难以完全实现。鉴于此,思迈特采取了双线并行的技术路线。思迈特计划推出Agent BI平台,并配备多种插件,如OCR插件、爬虫插件、生成Word报告插件、生成PPT插件等。这些插件将赋予用户更大的灵活性,使他们能够根据自身业务场景构建独立的Agent BI应用。另一方面,思迈特凭借在BI领域积累的丰富经验(服务超过5000家企业),将这些经验沉淀到Agent BI平台中。不仅如此,思迈特在未来可能会针对特定领域(如财务领域的三大报表分析)开发专门的Agent BI,为相关决策者提供即开即用的解决方案。这一策略体现了思迈特在追求技术创新的同时,也注重产品的实用性和市场适应性,通过深度贴合当下市场需求,以持续的研发投入筑牢技术根基,用扎实的实践成果积累行业信任,稳步推动ChatBI 技术向更高级阶段演进。
智能问数到底在解决什么问题?如果大模型不能保证 100% 正确,这件事还有没有意义
推荐语
智能问数不只是写SQL,更是解决企业数据查询中的口径、信任和治理难题,让数据真正成为决策依据。
核心内容:
- 智能问数的核心是降低获取可信数据的门槛,而非替代写SQL
- 企业查数面临语言、口径、信任和治理四层深层问题
- AI语义层作为数据基础设施,连接业务语言与数据体系
正文
很多团队做智能问数,第一眼都很惊艳:业务直接说一句“帮我看下本月新客转化率”,系统几秒钟给出结果。可真正进入生产环境后,所有人很快都会撞上一堵墙:业务不懂 SQL,大模型也不能保证每次都查对,那这件事到底怎么落地?这个问题不解决,智能问数永远只能停留在 Demo。
摘要:先说结论:智能问数不是为了替业务写 SQL,而是为了降低组织获取“可信数据”的门槛,很多人一提智能问数,第一反应就是“让不会 SQL 的人也能查数”。这句话不能说错,但它只说到了表面。企业真正要解决的,不是“谁来写 SQL”这么简单,而是谁能更快、更统一、更可信地拿到同一套经营答案。因为在多数企业里,真正昂贵的不是写 SQL 的动作本身,而是围绕查数产生的沟通成本:业务提需求、数据同学反复确认口径、来回对齐字段含义、发现表关联错了再重跑、最后结果出来了还要解释“为什么和财务口径不一致”。这些成本并不会因为模型会生成 SQL 就自动消失。所以智能问数真正解决的问题,不是“让业务少学一个技能”,而是把“提问 → 理解业务语义 → 找到正确指标 → 生成查询 → 返回解释清楚的答案”这条链路,从依赖人工协调,变成系统可重复执行的能力。
这也是为什么“智能问数”看起来像一个产品入口,底层却越来越像一套数据基础设施。它连接的不是聊天框和数据库,而是业务语言、指标体系、权限规则、治理机制和最终的经营判断。
问题的矛盾点,其实不是模型不够强,而是企业查询从来都不是一个纯技术问题
你刚才提到的矛盾非常关键:业务人员不懂 SQL,大模型又不能保证查询结果100% 正确。如果只从表面看,这像是一个死局。因为把 SQL 从人手里交给模型,如果模型也不可靠,那风险甚至更大。但这个矛盾恰恰揭示了一个事实:企业里的“查数”从来都不是“写一段语法正确的 SQL”这么简单,它至少同时包含三层问题。
第一层是语言问题
业务说的是经营语言,比如“新客”“高价值用户”“有效线索”“沉默用户”。数据库里存的是字段、表名、枚举值和 join 关系。两者天然不是一回事。
第二层是口径问题
同一句“转化率”,可能有三套分子分母;同一句“本月”,可能是自然月、财务月或滚动 30 天。大模型如果不知道组织口径,只能靠猜。
第三层是信任问题
业务不会 SQL,不等于他不在乎结果。他真正关心的是:这数能不能拿去开会、做复盘、给老板汇报。如果系统答错一次,信任就会迅速塌掉。
第四层是治理问题
不是所有人都能看同一张表,不是所有维度都能下钻,不是所有指标都能自由组合。企业数据不是公开数据库,而是有权限和边界的。
也就是说,智能问数的难点从来不只在模型端。模型只解决了“自然语言理解”和“查询候选生成”的一部分问题,但真正决定能不能上线的,是后面那几层:口径、治理、校验和信任。
AI 语义层到底在这里干什么
很多文章把 AI 语义层解释成“数据翻译词典”,这个比喻是对的,但还不够完整。更准确地说,AI 语义层是企业内部统一数据语言的结构化表达。它把“业务里怎么说”和“系统里怎么算”连接起来,让模型不再凭印象理解业务。公众号那篇文章也提到,语义层至少包含指标定义、维度描述、表关系和口径约束这些内容。[1]比如业务问:“最近华东大区新客首购 GMV 怎么样?”在没有语义层的情况下,模型要自己猜:
• “新客”是注册用户、首购用户还是首次活跃用户?
• “首购”是支付成功算,还是下单即算?退款要不要剔除?
• “GMV”是否包含优惠、运费、取消单?
• “最近”是 7 天、30 天,还是业务默认周期?
如果这些都让模型自由发挥,就算 SQL 语法 100% 正确,业务结果也可能是错的。语义层的作用,就是把这些本该由组织统一定义的内容,提前变成系统可调用、可校验、可复用的语义资产。
说白一点:语义层不是让模型更有创造力,而是减少它“自作聪明”的空间。它的价值不在于让模型说得更像人,而在于让模型更像一个守规矩的数据分析员。
这也是为什么很多企业做智能问数,最后真正投入最大的不是大模型调用费,而是指标中心、维度字典、血缘、权限、实体管理和规则治理。你上传的材料里其实已经把这个方向说得很清楚了:指标平台的底座要先解决“数据可信”,智能问数、预警、归因和预测才有继续往上长的空间。
既然模型不能保证 100% 正确,查询不准到底怎么解
这是整件事最关键的一段。答案不是“追求模型绝对正确”,而是把智能问数做成一套可约束、可验证、可回退、可解释的系统。换句话说,不要让模型直接对最终答案负责,而要让它参与一个被工程化约束的查询链路。
第一步:不要让大模型直接“自由写 SQL”
很多团队第一版最容易做成这样:用户提问 → LLM 直接生成 SQL → 执行数据库 → 返回结果。这个链路看起来最短,但风险也最大。因为它把“理解意图、解释口径、选择表关系、决定过滤条件、拼接查询语句”全压在模型身上了。
更稳妥的做法是把问题拆成两段:
- 第一段,模型输出结构化查询意图,比如
指标=新客首购GMV、维度=大区、筛选=华东、时间=近30天。 - 第二段,由系统根据语义层把这份结构化意图编译成 SQL,或者直接调用指标 API。
这样一来,模型就不再是“随意写代码的人”,而更像“理解需求并填写标准表单的人”。真正生成查询语句的是受控编译器,不是语言模型本身。
第二步:把“可答的问题空间”先限定住
智能问数上线时,最忌讳一句“你可以问任何数据问题”。这句话看着很厉害,实际是在给系统挖坑。企业想要准确率,第一原则不是开放,而是收敛。
也就是说,先把系统能稳定回答的问题圈出来,例如:
- 核心经营指标查询
- 固定维度组合下的趋势和对比
- 预先治理好的宽表或指标 API
- 只读分析,不涉及写回操作
先把 20% 最高频、最标准、最值得复用的问题做准,比开放 100% 问题但答得不稳要有价值得多。因为业务真正需要的,通常不是“无边界探索”,而是“高频问题得到稳定答案”。
第三步:查询前要做语义澄清,而不是硬着头皮答
很多系统一旦用户提问,就默认“马上给答案”。但真实世界里,大量问题本身就有歧义。如果不澄清,系统越快,错得越快。
例如用户问:“帮我看下最近转化怎么样。”这句话至少有三个不清楚的地方:最近多长时间、转化是哪一种转化、需要看总览还是分渠道。一个成熟的智能问数系统,应该在这里先补一句:
你说的“转化”是注册转化、下单转化还是支付转化?“最近”默认按近 30 天计算,如需其他周期请说明。
这个动作看起来多问了一句,但本质上是在用最小的交互成本,换取更高的结果确定性。对业务来说,怕的不是系统问一遍,而是系统一本正经给出一个错答案。
第四步:SQL 执行前后都要加校验层
哪怕有语义层和编译器,也不能假设每次输出都没问题。真正能把准确率做稳的,是“执行前校验 + 执行后校验”两层机制。
执行前校验检查
字段是否存在、join 路径是否合法、是否使用了授权指标、时间粒度是否匹配、是否遗漏强制过滤条件、是否存在全表扫描风险。
执行后校验
检查结果是否为空、数量级是否异常、与历史趋势是否严重偏离、与同口径权威报表是否冲突、是否超出业务常识阈值。
如果校验失败,系统不应该“装作若无其事”把答案直接给业务,而应该明确告诉用户:本次查询存在口径不明确或结果异常,请补充条件,或改走权威指标查询链路。
第五步:答案必须带解释,不能只给一个数
很多系统返给业务一个数字,以为这就是“问数成功”。其实恰恰相反。业务不懂 SQL,更需要系统解释“这数是怎么算出来的”。所以成熟的返回结果至少应该包含:
• 本次采用的指标定义
• 时间范围与时间粒度
• 过滤条件与剔除规则
• 使用的数据来源或指标 ID
• 结果可信度提示
当系统把这些说明展示出来时,业务即使不懂 SQL,也能判断这是不是自己想问的那个数。换句话说,智能问数不能只负责“把答案说出来”,还要负责“把答案交代清楚”。
第六步:把快速探索和权威结果分成两条链路
很多争议都来自一个错误预期:希望智能问数既像搜索一样快,又像财务结算一样绝对严谨。现实里,最好把这两类需求分开。
• 探索链路:适合快速提问、趋势观察、假设验证,强调效率与交互体验。
• 权威链路:适合汇报、复盘、结算、对外口径,必须走指标平台或认证报表口径。
这样业务就不会把“用于探索的即时答案”和“用于决策背书的正式口径”混在一起。系统也可以明确提示:当前结果适合分析参考,如需对外汇报,请切换到权威口径视图。
所以,智能问数最终不是“替代人”,而是重构人和数据之间的协作方式
讲到这里,很多人会发现,智能问数并没有消灭人。业务还是要表达问题,数据团队还是要治理指标,管理者还是要做最终判断。变化在于:原本低效、重复、不可复制的那部分沟通,被系统沉淀成了稳定能力。过去业务提一个问题,组织靠“谁熟业务、谁懂表、谁刚好在线”来解决。未来更好的方式是:先由语义层定义企业统一语言,再让模型负责理解意图、组织查询,由规则和校验层守住正确性,最后把可解释的结果交还给人做判断。
这件事真正的价值,不是让每个人都像分析师,而是让每个人都能更低成本地接近正确答案,同时把数据团队从重复取数中释放出来,去做更有复利的指标体系建设、异常分析和经营洞察。
这也解释了另一个现象:为什么明明“很多公司都在做智能问数”,还是有很多人持续在做。因为大家争的从来不是一个聊天框,而是谁先把“企业自己的数据语言”工程化沉淀下来。这个底座一旦建成,它服务的就不只是问数,还会外溢到报表、自助分析、预警、归因、预测,甚至更多 AI 应用。
最后回到最初那个问题:不可能 100% 正确,为什么还值得做?
因为企业里几乎没有任何系统能承诺绝对零误差,BI 报表不能,人工 SQL 也不能。真正关键的,不是“有没有绝对正确”,而是错误能不能被限制、发现、解释和纠正。如果一个智能问数系统把问题空间收敛好了,把语义层建稳了,把查询链路编译化了,把前后校验和解释机制补齐了,它就已经不是一个“会乱答的聊天机器人”,而是一套能在企业里逐步建立信任的数据服务系统。换句话说,智能问数的目标从来不该是“模型代替所有人查数”,而应该是:在业务不懂 SQL 的前提下,依然让正确的数据答案更容易被获取;在模型不可能 100% 正确的前提下,依然让错误更难发生、更容易被发现、更容易被纠正。这才是智能问数真正应该解决的问题,也是 AI 语义层存在的根本意义。
如果把这篇文章浓缩成一句话,那就是:智能问数不是把“写 SQL 的人”换成“大模型”,而是把“查数这件事”从个人经验,升级成一套有语义、有约束、有校验、有解释的组织能力。你们公司现在最常出现争议的三个指标是什么?是新客、转化率、留存,还是 GMV?留言区可以继续聊。因为很多智能问数项目,真正的起点不是上模型,而是先把这三个指标讲清楚。
智能问数Text2SQL卷准确率其实没意义,90%也没法用
推荐语
别再盲目追求90%准确率,智能问数真正的价值在于让业务人员能看懂、能确认。
核心内容:
- Text2SQL产品过度追求准确率的误区
- 从“黑箱”到“透明”是可用性的关键转变
- 实现“可确认性”的具体方法与验证标准
正文
卷到 90% 也没用,因为你不知道这一次是不是落到那剩下 10% 了
准确率这个指标,
从一开始就问错了方向
几乎所有 Text2SQL 产品都在卷准确率,隔三差五就有人宣布又提升了多少个百分点,从 70% 涨到 90% 甚至 95%,看起来一片繁荣。
但这只是一个“看起来很美”的指标。数字不是重点,逻辑才是:即便准确率达到 90%,用户怎么知道这一次有没有落在那 10% 里?
数据决策不是抽奖。一个语法正确、语义完全跑偏的 SQL,执行成功返回一个漂亮的结果,但根本不是用户想问的。这种错误,SQL 层面检查不出来,只有用到现实业务中才会发现错得离谱。
这是因为智能问数的用户是业务人员,不是 DBA。他们不懂 SQL,也看不懂 JSON、XML 或任何技术化的中间格式。不管后台技术多复杂,用户面对的就是一个黑箱,他只能输入问题,然后得到一个结果,中间过程完全不可见,也就无从验证对错。
无法验证的结果,再高的准确率也没有决策价值。
准确率不是“够不够高”的问题,
是“能不能确认”的问题
一个错配的逻辑:准确率从 80% 提到 90%,系统就更可用了。
实际上,从“不可用”到“可用”,跨越的不是 10 个百分点,而是一个质的变化:从“黑箱”变成“透明”。
80% 准确率的黑箱和 90% 准确率的黑箱,对用户来说没有本质区别。反正都看不懂中间过程,都不知道这一次对不对,只能赌这次运气好,落在了正确的那一边。
反过来,如果用户能在执行前发现并剔除错误,那 80% 的准确率就已经足够好用了,剩下的 20% 错误能被识别和拦截,用户只要说一声“这不对”,系统就重新来。准确率从 80% 到 90% 的意义,远不如“用户能不能发现那 10% 的错误”来得重要。
在严肃的经营决策场景里,没人敢于去赌。
这就是为什么 90% 的准确率也没用。不是 90% 不够高,是“不可确认”本身就不可接受。
正确的方向:
不是卷准确率,而是“可确认性”
问题的本质不是“能不能做对”,而是“做错了能不能被发现”。
破局方法:在查询执行之前,加一层用户能读懂的中间表示,让用户自己确认意图。
这层中间表示必须同时满足两个条件:
一、人类可读。用接近自然语言的形式,不用技术培训就能看懂。比如“2023 年北京发往青岛的订单金额汇总”,而不是 JSON、XML、自定义 DSL 或者 SQL。
二、机器可解析。有明确可用规则描述的结构,能确定性转换成 SQL,不依赖模型猜测。
就这么简单。验证方法也不复杂:随机拿几个真实业务问题,让用户看中间结果。能一眼确认“对,这就是我要问的”,方案就过了底线。看不懂,别的指标再漂亮也没用。
为什么大多数方案在卷准确率,而不是解决可确认性
不是不想,是做不到。
SQL 以及这些方案的中间层是机器导向的,用结构化的中间语法约束 LLM 的输出空间,减少幻觉。JSON 也好、自定义 MQL 也罢,有了约束,准确率确实提高了,但和 SQL 一样仍然是人看不懂。看不懂,校验环节就永远缺失。
中间层还有更糟的是恶性循环:设计得越复杂,LLM 越容易语法出错;为了保准确率,不得不把中间层做得很简单,有些甚至简单到只支持单表查询,把多表关联、子查询、复杂指标全部丢弃。企业级场景根本不够用。
业界在卷准确率,是因为大多数厂家只会卷准确率。中间层做不到人读,就谈不上“可确认性”。
润乾 NLQ:
不卷准确率,解决“人能确认”
润乾 NLQ 走的是另一条路:LLM 做翻译,规则做决策,人做确认。
LLM 不做复杂推理,只做语义转写,把五花八门的口语整理成标准化的规范文本。后续查询逻辑的准确性,交给规则引擎和人类确认。LLM 不需要生成 SQL 或中间层,只做它最擅长的自然语言理解。
整个流程分三步:自然语言 → LLM 翻译成规范文本(人机双向可读的 DSL)→ 用户确认 → 规则引擎确定性转换成 SQL。
第一步:LLM 把口语翻译成规范文本
LLM 只做一件事:把五花八门的口语表达,整理成标准化的“规范文本”(一种人机双向可读的 DSL)。
来看几个例子:
例 1:去掉口语废话
- 口语输入:嗯…我想看看去年签的订单。
- 规范文本:去年 订单
“嗯…我想看看”这类口语废话被去掉,只保留核心查询意图。
例 2:口语化条件转标准表达
- 口语输入:零售价低于 50 元的零件。
- 规范文本:零售价 小于 50 元 零件
“低于”被标准化为“小于”,更利于机器解析。
例 3:模糊时间转明确条件
- 口语输入:去年秋天签了多少订单
- 规范文本:签单日期 2025 年 9 月至 2025 年 11 月 订单数
“去年秋天”被识别为明确的时间范围。
例 4:复杂业务术语转标准条件
- 口语输入:已售罄的商品。
- 规范文本:库存量是 0 的商品
“已售罄”这种业务黑话,被翻译成明确的字段条件“库存量是 0”。
例 5:多条件组合查询
- 口语输入:帮我看看上个月华北区单价超过 100 块的订单有多少
- 规范文本:签单日期 上月 区域 华北 单价 大于 100 订单数
口语中的“帮我看看”“有多少”被过滤,“上个月”被识别为相对时间,“华北区”被映射到区域维度,“超过 100 块”被标准化为“大于 100”。
例 6:否定条件
- 口语输入:去年没开单的女员工
- 规范文本:签单日期 去年,没有 订单,女 员工
“没开单”被识别为否定条件,存在性判断,而不是“订单金额为零”。这是 LLM 语义理解能力的体现:它知道“没开单”不等于“订单金额 =0”,而是“不存在任何订单记录”。
这些规范文本的共同特点:一看就懂,不用翻译。用户不需要任何技术背景,扫一眼就知道“对,这就是我想问的”;或者“不对,这理解偏了”。
第二步:人类做确认
LLM 有幻觉,不一定每次都翻译对。所以必须加一道人类确认的关卡。
比如用户想问“北京客户下的订单”,LLM 可能翻译成:
- 发货城市 北京 订单—— 把“客户在北京”理解成了“发货在北京”
用户想查的是客户所在地为北京的订单,而 LLM 理解成了发货地为北京,翻译出来的文本语法通顺、结构完整,但意思完全错了。
如果不确认直接执行,返回的就是“发货城市 = 北京”的订单数据,跟用户想查的“北京客户下的订单”是两回事。拿到结果可能还意识不到错了——因为结果本身是合法的、有数据的,只是不是他想要的。
有了“规范文本”这个中间层,问题在执行前就被拦截了。用户看到“发货城市 北京”,一眼就能发现“不对,我要的是客户在北京”,然后返回修改提问,重新走第一步。
人类能确认的,才是能用的。这正是本文反复强调的核心观点。
第三步:规则引擎转 SQL 查数据
用户确认规范文本无误后,进入确定性转换阶段。
规范文本 → SQL,每一步都基于确定的规则和词典,100% 可追溯、可调试。没有 LLM 的“发挥空间”,没有“大概率正确”,只有确定性的转换和确定性的结果。
这一步不能再指望 AI,否则幻觉只是换了个位置。必须用规则引擎做确定性的编译转换,才能保证“确认无误”之后的执行环节不出差错。
润乾 NLQ 把 Text2SQL 从“AI 猜你问什么”变成了“你确认 AI 理解对了再执行”。LLM 做它最擅长的翻译,人做他最擅长的是非判断,规则引擎做它最擅长的确定性转换。各司其职,各取所长。
润乾 NLQ 不去比谁的准确率高,它比用户到底敢不敢信。
卷准确率是个无底洞。从 80% 卷到 85%,再卷到 90%,投入的成本指数级上升,但用户的信任度并没有同步提升,因为他还是看不懂、确认不了。
与其卷一个用户无法验证的指标,不如认真解决“用户能不能看懂、能不能确认”。
能确认,就能用。不能确认,90% 也没用。
构建知识闭环:用CodeBuddy打造自我进化的数据分析体系
推荐语
QQ浏览器推荐架构团队用CodeBuddy AI打造数据分析知识闭环,将SQL编码效率提升10倍以上!
核心内容:
- 数据分析五大痛点与知识闭环解决方案
- CodeBuddy AI实现代码自动生成与校验的实践路径
- 自我进化知识体系带来的效率革命与行业启示
正文
难以查找海量库表、需求紧急复杂、重复性工作多、结果校验困难、追溯记录困难……数据分析时要如何破除这些痛点?QQ浏览器的信息流推荐架构团队基于CodeBuddy AI给出了迅速有效的答案。
1.引言
我们团队的部分职责是承担推荐数据分析的工作。在长期数据分析中,我们总结出以下业务痛点:
● 涉及到大量库表和口径,查找起来有困难;
● 需求紧急而复杂,仅有一人负责大部分工作,压力较大;
● 不同需求往往用到类似的口径,重复度较高;
● 数据分析对结果准确性要求极高,校验压力大;
● 代码和分析结果散落在各处,容易丢失,难以回溯。
我们的解决方案: 在有限的人力下快速试错、改进,构建了一个知识闭环体系。这个体系通过"让知识可沉淀 → 让知识可传递 → 让知识可生成 → 让知识可信赖 → 让知识可闭环"五个环节,形成了一个自我进化的良性循环。在此流程中,我们利用CodeBuddy AI来设计开发规范,还使用它的自定义Agent功能自动生成SQL代码,将编码过程从小时级下降到分钟级。
第一环:让知识可沉淀。 我们使用Git仓库管理所有数据分析代码和口径定义,使所有历史任务沉淀为可复用的知识库。
第二环:让知识可传递。 为了降低新负责人的学习成本,我们将代码目录结构化管理,并设定好代码规范。这样,原本只有一人负责的工作能方便地扩展到组内,让更多同学共同开发和维护。
第三环:让知识可生成。 为了降低数据分析过程中的重复工作量,我们利用CodeBuddy快速设计出一个数据分析Agent,它能够自动读取仓库内的历史代码,然后结合当前需求写出高质量的分析SQL。面对简单和中等复杂的情境,生成代码的准确率能达到80%以上;而对于复杂情境,在1~2次运行和反馈后,代码也普遍能达到满意效果。
第四环:让知识可信赖。 虽然代码编写重要,但后续对运行结果准确性的验证更重要且更有挑战。这要求我们在对业务指标具备认知的基础上,再运用AI进行逻辑复查。
第五环:让知识可闭环。 由于数据分析需求杂乱,此前的代码和分析结果往往散落在各处,导致需要修改周期重新运行或回看结果时难以查找。为此,在利用Git的版本控制能力的基础上,我们还设定了文件命名规范,并要求在代码文件中记录分析结果的链接,以保障所有结果可溯。更重要的是,经过验证的新口径、新代码会重新进入Git仓库,成为知识库的一部分,供后续任务复用。
总结来说,重构后的数据分析流程有如下表格所示的优势,是一件值得参考的AI实践案例。
知识闭环的价值: 这套体系最大的价值在于形成了正向循环。每次数据分析任务都在为知识库添砖加瓦,知识库越丰富,AI生成的代码就越准确,团队效率就越高。
在完成流程重构后,我们一方面反思教训、总结经验,认识到AI在代码生成上存在能力边界;另一方面,也展望通过AI自动化生成文档的优势,来攻克知识传递瓶颈,提升团队效率。
2.重构方法论:五环闭环体系
在解决这些痛点时,我们总结出一套可复用的方法论。这套方法论的核心思路是:构建一个知识自我进化的闭环体系。
这套体系由五个相互关联的环节组成,每个环节都承担着特定的职责。第一环是让知识可沉淀,通过Git管理代码并建立结构化目录来构建知识库,这样所有历史任务都能成为可复用的资产。第二环是让知识可传递,我们制定了统一的代码规范和文件注释标准来实现规范化协作,使得多人协作成为可能而不再依赖单个人。第三环是让知识可生成,利用Agent和Prompt工程实现AI自动化,提升编码效率。第四环是让知识可信赖,通过建立多层验证体系来保障质量。第五环是让知识可闭环,依靠版本控制和命名规范实现闭环增值,让经过验证的新知识重新沉淀回知识库,从而推动知识持续增长并形成正向循环。
通过这次实践,我们发现有五点特别重要:
- 基础工作不能跳过:没有Git知识库,AI就没有学习材料;没有代码规范,AI生成的代码质量就没保障
- 人的流程优先:先把人的协作流程搞顺畅,再用AI来加速,而不是一上来就用AI
- 验证是核心:AI生成代码只是第一步,验证准确性才是关键价值
- 闭环是灵魂:只有经过验证的知识重新沉淀,才能形成正向循环
- 边做边改:每个环节都要快速试一试,根据实际效果来调整方向
2.1.一个真实案例
接下来,我们先通过一个真实案例直观感受效果,然后再详细讲解每一步的实践过程。
需求: 筛选2025年9月21-27日期间关注过特定puin的一线城市用户,查询其在浮层场景的内容消费历史。
这个需求在重构前后的处理方式有着天壤之别。在重构前,整个流程需要花费30分钟翻阅各种文档来找到准确的口径定义,然后花费数小时手工编写复杂的多表关联逻辑,接着完全依赖人工检查来验证结果准确性,最后还要花10分钟手动记录各种信息到不同的文档和文件夹中,整个过程耗时且容易出错。
而在重构后,只需要2分钟就能让CodeBuddy自动检索Git仓库中的口径定义,然后10分钟就能生成符合团队规范的SQL代码,虽然验证环节仍然需要人工业务判断作为核心,但现在有了CodeBuddy辅助进行逻辑复查,最后借助Git版本控制只需1分钟就能完成归档工作,整个流程变得高效且规范。
下面,让我们详细讲解这套方案背后的工程实践以及细节思考。
3.构建知识库- 让知识可沉淀
通过分析我们发现,效率低下的根源主要体现在三个方面:首先是学习成本高,因为涉及大量的表、字段和口径定义,每次都需要花费大量时间去查找和理解;其次是单人负担重,由于只有一个人掌握数据分析技能,所有需求都压在一个人身上,工作压力巨大;最后是重复工作多,相似的需求需要反复编写类似的代码,大量时间浪费在重复劳动上。
3.1.规范管理代码
基于前面的分析,我们选择Git来管理所有数据分析代码。相比传统的在线文档或数据分析平台,Git有三个核心优势:
- 代码即知识:SQL代码本身就是最精确的知识表达,一行代码胜过千言万语
- 版本可追溯:天然支持版本控制,每次修改都有记录,为后续的知识闭环打下基础
- 大模型可解析:结构化的代码比自然语言更适合大模型理解和生成,维护成本更低
核心目标: 让每次数据分析任务都成为可复用的知识资产,而不是一次性的工作。
3.2.仓库结构设计
为了让Git仓库发挥好知识库的作用,我们需要对目录进行结构化管理。
在设计目录结构时,我们首先思考了一个问题:数据分析任务中哪些内容是可以复用的?经过分析发现,虽然每次分析需求都不同,但背后用到的数据口径往往是相似的,比如"一线城市用户"的定义、"浮层场景"的判断逻辑、"内容消费"的统计口径等,这些口径会在不同的分析任务中反复使用。基于这个洞察,我们确定了核心设计思路:将可复用的口径定义与具体的分析代码分离管理,让口径成为独立的知识资产。
分离"分析代码"和"口径定义":
● 分析代码:存所有历史任务的完整代码(如实验分析、异常兜底策略分析)
● 口径定义:保存这些任务用到的数据口径(如实验桶号、用户消费数据)
为什么要分离?
1.口径可以跨任务复用,避免重复定义
2.AI可以先检索口径,再生成分析代码
3.新人可以快速了解有哪些可用口径
目录结构示例:
数据分析代码仓库/├── 分析代码/│ ├── 实验/│ ├── 用户/│ ├── 异常/│ └── 内容池/└── 口径定义/ ├── 实验/ ├── 用户/ ├── 消费/ ├── 场景/ └── 内容/
实践经验:
● 目录结构可以用大模型辅助设计,再手动调整
● 根据业务特点调整
● 遇到新口径时,及时更新到口径定义目录
● 随着需求迭代,口径库会越来越完善,数据分析效率越来越高
通过Git仓库和结构化目录,我们成功建立了知识沉淀的基础设施。但仅有知识库还不够,我们需要让这些知识能够在团队中有效传递,让更多人能够理解和使用这些沉淀下来的代码。
4.制定规范 - 让知识可传递
有了Git仓库作为知识库,下一步是让这些知识能够在团队中有效传递。我们发现,知识传递的核心障碍不是找不到代码,而是看不懂代码和不知道怎么用。要让知识真正在团队中流动起来,需要建立一套完整的规范体系和协作机制。在规范生成过程中,CodeBuddy生成了最重要的初版内容,后续再由我们手动调整,使格式更加精炼易读。
4.1.为什么需要规范
在引入规范之前,虽然我们已经有了Git仓库,但团队协作仍然困难重重。每个人的代码风格不同,新人看历史代码如同天书,相似的逻辑在不同文件中写法各异,导致学习成本居高不下。更严重的是,当我们尝试让AI基于这些代码生成新代码时,由于缺乏统一规范,AI生成的代码质量参差不齐,有时甚至无法运行。这让我们意识到,必须建立统一的代码规范,让知识以标准化的形式沉淀和传递。
4.2.使用CTE
我们团队统一要求使用CTE(公用表表达式)编写数据分析代码,避免多层嵌套的SELECT语句。
我们之所以强制要求使用CTE,是因为在实践中发现AI生成嵌套子查询时经常出现括号层级错误,导致SQL无法正常执行。统一使用CTE格式后,AI生成的SQL语法错误明显减少,代码的可读性和可维护性也得到了显著提升。不过需要注意的是,每个CTE都应该有明确的业务含义,避免为了使用CTE而过度拆分逻辑。
在实际应用中,我们建议在Prompt中明确要求使用CTE,并提供具体的代码示例让AI学习正确的格式。对于AI生成场景来说,CTE比嵌套子查询更可控、更易维护,这不仅降低了语法错误的概率,也让后续的代码审查和优化工作变得更加轻松。
WITH-- [CTE功能说明]cte_name1 AS ( SELECT ... FROM ... WHERE ...),-- [CTE…