AI时代的数据研发-Semantic(语义层)实践总结
本文总结了AI时代数据研发从传统SQL开发向Semantic(语义层)+ DataAgent范式转型的实践与思考,指出传统模式存在效率低、语义鸿沟及口径不一致等瓶颈,而通过构建包含指标、维度、逻辑表及CTE适配层的语义层,结合Meta-ontology本体论和Wiki-RAG检索增强,实现了业务语义的结构化定义与AI自动翻译NL2SQL;该方案采用Agentic架构双轨制,将数据知识从代码迁移至语义模型,使研发角色转变为语义架构师与AI教练,并通过工程化校验与自动化治理保障资产质量,最终达成需求响应实时化、取数自动化及数据价值高效释放的目标。
从SQL到语义(Semantic)
AI时代数据研发范式的变革与尝试,由人到AI Semantic(人+agent)。
由 业务需求 → 理解语义 → 设计模型 → 编写SQL → 测试验证 → 交付报表
到 业务需求 ──→ [语义层+AI] ──→ SQL ──→ 结果
旧时代人是重中之重,沟通、开发和知识存储的唯一载体,是把业务需求翻译成准确的SQL!所有的经验和规范以及相关知识都在人脑(文档)和SQL代码中,重要的是人那么随之而来的瓶颈当然也是人,因为人是丰富的多样性的,有牛皮的、有菜的、有经验老道的有初生牛犊不怕虎的~
但是现如今效率优先,所有的优点都不如多快好省!
因此我们正在做的就是由过去面向SQL的开发变为面向AI Semantic的开发~
▐ 为什么要做语义层
▐ 为什么要做语义层
三个趋势
三个趋势
AI从"对话助手"进化为"自主智能体"(Agentic AI)。AI不再只是回答问题,而是能够:
感知业务环境
理解数据语义
自主生成SQL查询
协作完成复杂分析任务
效率与成本的压力
数据价值释放的瓶颈
过去,数据价值被"最后一公里"卡住:
业务有问题,但不会写SQL → 语义层让AI代劳
数据有答案,但没人来问 → Agent主动推送洞察
既懂数据又懂业务分析的人急缺 → 业务自己养专业Agent
三个瓶颈
三个瓶颈
三个瓶颈
效率低周期长
之前的话,一个需求的生命周期:
需求评审 -> 模型设计 -> 设计评审 -> ETL开发 -> 代码Review -> 数据验证 -> 上线部署 -> 联调测试 -> 报表搭建 -> 数据回刷
怎么滴也得一天吧?还得是熟练工 all in 这一个需求。
业务-技术的语义鸿沟
业务说:"我要看活跃用户的复购率。" 技术问:"活跃用户怎么定义?7日活跃还是30日活跃?复购是否包含退款后再购买?"这种对话每天都在上演。业务语言和技术实现之间的翻译,消耗了数据团队30%以上的精力。
指标口径的丛林
同一个"GMV",在不同报表里可能有5种计算方式。营销部门的GMV包含优惠券,财务部门的不包含;运营看的是下单口径,仓储看的是发货口径。指标定义的不一致,是数据可信度的最大杀手。
基于传统数据研发的痛点和瓶颈以及ai发展所带来的变化,我们发现了数据研发在ai时代的破局之道-语义层!
▐ 语义层是啥
▐ 语义层是啥
前面铺垫了这么久,终于到了关键性的东西了。简单类比下,语义层(Semantic Layer)就是钓鱼佬的偏光镜!
它是连接原始数据和业务语义的中间层,它将复杂的表结构、字段关系、计算逻辑,抽象为业务人员能理解的"指标"和"维度"
语义层帮助AI 调用业务真相接口而非猜测底层结构
LLM虽然厉害,很擅长自然语言处理,但是他不懂你的业务、也不懂你的数据,语义层就是他的专门为了看懂你的业务和数据而配置的偏光镜,让你池子里鱼一览无余~
通用的ai大模型看起来啥都会,但不理解你的业务上下文——不知道数据在哪张表、GMV的计算公式是什么、该过滤哪些异常数据。语义层补上了这个上下文。
核心要素
前面铺垫了这么久,终于到了关键性的东西了。简单类比下,语义层(Semantic Layer)就是钓鱼佬的偏光镜!
它是连接原始数据和业务语义的中间层,它将复杂的表结构、字段关系、计算逻辑,抽象为业务人员能理解的"指标"和"维度"
语义层帮助AI 调用业务真相接口而非猜测底层结构
LLM虽然厉害,很擅长自然语言处理,但是他不懂你的业务、也不懂你的数据,语义层就是他的专门为了看懂你的业务和数据而配置的偏光镜,让你池子里鱼一览无余~
通用的ai大模型看起来啥都会,但不理解你的业务上下文——不知道数据在哪张表、GMV的计算公式是什么、该过滤哪些异常数据。语义层补上了这个上下文。
核心要素
核心要素
核心要素
▐ 语义层带来的变化
▐ 语义层带来的变化
如果说语义层是给AI戴上的"眼镜",那么Agentic AI就是让AI长出了"手脚"。
Agentic AI的核心定义:AI不再只是一个被动响应的模型,而是一个能感知环境、主动行动、有明确目标、具备协作能力的智能体(Agent)。
传统AI:你问它问题,它给你答案。(被动) Agentic AI:它主动发现问题,自己找数据,自己分析,自己给你建议,甚至自己执行决策。(主动)
Agentic AI + 语义层正在从根本上改变数据仓库的消费模式,进而迫使数仓架构的重构。
数仓架构变化
数仓架构变化
传统数仓架构的设计是:人类是数据的最终消费者。
因此我们需要:
多层数据加工(ODS→DWD→DWS→ADS)
复杂的ETL管道
精心设计的报表和数据产品
数据分析师/BI作为"翻译官"
但当AI Agent成为数据的主要消费者时,这套假设就被彻底打破了。
每一层都是为了让数据更"易于人类理解"。但AI Agent不需要这些!
Agentic架构的双轨制:
我们构建了 Agentic Data Stack 的混合架构:AI Agent 通过语义层直接消费数据,人类分析师通过传统BI/报表消费数据,两条轨道并存、按需选择。Agent 不只是数据消费者,也是语义资产的维护者。
关键变化:
语义成为新的"分层"
语义成为新的"分层"
在Agentic AI架构下,语义层取代了物理分层,成为数据组织的核心。
传统分层解决的问题:
ODS:数据清洗和标准化
DWD:业务过程建模
DWS:预计算聚合,提升查询性能
ADS:面向应用的数据集市
语义层如何解决这些问题:
数据质量 → 语义层定义数据校验规则
业务建模 → 语义层定义实体、关系、度量
查询性能 → 向量化、列存、物化视图(数仓引擎负责)
应用适配 → 每个Agent根据语义自动组装所需数据
核心洞察:
短期来看,语义层成为数据组织的新抽象层,传统 ODS→DWD→DWS→ADS的物理分层并没有消失,但对消费者透明了——业务看到的是一个统一的语义层,物理分层变成了性能优化的实现细节。
长期来看,当算力足够强大(随便跑大Sql)和当AI足够聪明(能理解原始数据的语义)时,中间的加工层就变得多余了。
知识存储的变化
知识存储的变化
数据知识从"散落在 SQL 代码中、文档中、跟人绑定口口相传中"迁移到"集中在语义模型里、可被 Agent理解和复用"。口径的载体变了,管理成本和维护方式也随之改变。
知识的保鲜、保质等难题也通过更高效、更便捷、更有解释性的方式来解决掉了。
数据研发范式的变化
数据研发范式的变化
从SQL Developer到Semantic Architect,数据研发的角色正在从"SQL Developer"进化为"Semantic Architect"。核心价值不再是写出正确的SQL,而是定义准确的业务语义、设计可被 AI 消费的语义模型、并持续治理口径一致性。
数据团队的定位从"数据加工厂"转变为"AI Agent的教练"。
语义层落地细节
语义层落地细节
▐ 生产关系
▐ 生产关系
语义层(数据语义、业务语义、知识库)、服务端(DSL、生码、基础服务)、DataAgent(业务洞察、目标分析等)三叉戟
领域专家+AI最高阶配置,分工明确、责任清晰、1+1+1>>>3
在于精不在多,全栈开发(前端、后端、数据、AI应用),探索落地AI时代数据研发新生产关系
▐ 技术架构
▐ 技术架构
新型研发团队:Agent + 专家 + Skill生态~
正向
数仓物理表资产到语义资产(逻辑表、指标、维度)
Wiki本地快速检索
NL2SQL、R2C(ADS)
逆向
治理Agent + Skill 定期扫描语义层、标签词根
专家评审
Agent修复
横向
保鲜:标签词根和维度、指标的联动
端到端血缘
使用覆盖情况(错误查询、DWS自动沉淀、低质/优质资产发掘)
▐ 核心概念-CTE
▐ 核心概念-CTE
大量的交流沟通以及需求分析调研我们发现:有一个标准化的数仓当然好,而且非常重要,会极大的降低构建语义层的难度。物理数仓是整个系统的根基也是天花板。
但是你做的产品服务用户的,而不是教育用户的,无数案例证明一个优秀的标准化的数仓就跟三条腿的蛤蟆一样可遇不可求。我们不能既要又要还要更要没完没了的要,这不符合现实逻辑,你用我们的产品还必须先这样那样的,这天然就反人类,我都这样那样了还要你干什么?
为了尽可能降低构建语义层的成本,减少非标数仓的影响,语义层做了适当的妥协对三类不可直接消费的数据形态的适配层——把"用不了/ 不好用 / 太慢"的数据源,包装成"语义层能用"的标准输入。
四大诉求
四大诉求
兼容非标数仓表
Cdm标准表(dwd/dws/ads)有规范的分层、命名、分区、粒度。但现实里大量数据源不在规范里
业务方的临时表、项目表(命名/分区随意)
外部数据源(非 CDM 治理范围,但业务需要关联)
这些表不能直接 type=0 import(会污染语义层的标准性),也不能让业务方裸写 SQL引用(会失去治理)。CTE 的角色:写一段 SELECT 把这些非标数据源投影成"符合语义层契约"的形状,再注册。非标被隔离在 statement 里,下游只看规范字段。
业务自定义逻辑
有些语义概念无法从任何单张标准表直接拿到:
"最近 7 天活跃主播":需要在明细表上窗口聚合 + 时间过滤
"去重后最近一次的状态":需要 ROW_NUMBER + QUALIFY
"跨两张表的业务状态合并":需要 UNION / COALESCE
"黑名单 / 无效场次已剔除":需要在 SQL 里写业务过滤条件
这些是业务方的领域知识,不是数仓工程师的建模产物。
CTE的角色:让业务方(或数据研发)把这段自定义逻辑沉淀成可命名、可审批、可追溯的资产。
大表性能优化
直播域的核心事实表经常是百亿行级(dwd_tb_ctlive_xxx_di 这种日增量明细)。如果DSL2SQL 每次都基于明细表跑:
取数 SQL 跑几十分钟甚至超时
全表扫描浪费计算资源
同样的聚合在不同 metric 上重复执行
需要一个中间加速层。CTE 的角色:把常用的聚合粒度(如 account_id + ds)和常用指标(如SUM(pay_amt))提前 GROUP BY 到一张 CTE 上,下游 metric / dim直接基于这张小表引用。CTE 在语义层充当了"轻量 dws"的角色——不是真正的物化表,但SQL 层面已经把计算量压下来。
标准表的二次加工
一些标准化数仓也解不了或者是下游ads层使用时转化的逻辑,可以放在Cte层沉淀抽象掉:
dwd转dim,一些dwd表在某些场景下需要被关联,比如订单明细
主键去重,有些维表是多粒度复用的,但是主键跟粒度不完全一致,这时候就需要借助Cte二次加工让关联的粒度成为主键
借助Cte可以沉淀复用逻辑、避免下游数据异常
三根支柱
三根支柱
隔离性 —— 把"脏"留在 statement 里
statement 可以写任何合法 ODPS SQL:跨 project、非标分区、复杂 JOIN、子查询
但输出给语义层的字段(fieldList)必须是规范、稳定、可解释的
下游 binding 只看到 fieldList 里的字段,看不到 statement 的内部复杂度
单点维护 —— 一段 SQL 多处复用
同一个"最近 7 天活跃主播"逻辑,被 5 个 metric 引用 → 只维护 1 段 statement
业务口径变了(7 天改 30 天)→ 改 statement + 重审批 → 5 个 metric 自动跟新
反例:每个 metric 在自己的 binding expression 里写一遍窗口聚合 → 改一次要改 5 处
性能可控 —— 主动定义聚合粒度
aggrList 手工声明(如 ['account_id','ds'])→ 告诉语义层"这段 SQL的最小粒度是什么"
DSL2SQL 基于这个粒度生成 SQL,不会做无谓的细粒度扫描
如果 aggrList 写错(比如漏了分区字段),生成的 SQL 会慢甚至错——所以 CTE 的aggrList 必须准确反映 statement 的真实粒度
CTE的底层信念是——数据源的异构性不应该污染语义层的统一性,它让语义层不必关心底层细节(物理表结构、自定义逻辑、性能优化等等)。
劲酒虽好,可不要贪杯哦。前面也说了,标准化的物理数仓才是基础和天花板,Cte只是权宜之举,要想走得远必须要有扎实的基建才行~
▐ 核心概念-逻辑表
▐ 核心概念-逻辑表
解耦:物理层与语义层之间的一道墙
解耦:物理层与语义层之间的一道墙
抽象:更关注使用而不是实现
抽象:更关注使用而不是实现
FACT (事实表-指标)vs DIM(维表-维度):
由业务需求决定,不由表名前缀决定,真实案例:tbcdm.dim_tb_ctlive_itm_tag 这张 dim 物理表,既能当维表用(建逻辑维表绑维度),又能当事实表用(建逻辑事实表 basic_plh挂指标)。同一张物理表,两个逻辑表,两套语义,互不干扰。
一个逻辑表可以同时挂多张物理表
一个dwd/dim基础表,明细层,多字段
一个dwd_ext/dim_ext表,明细层拓展,性能差一些但是信息覆盖更全
多个dws/dim,预聚合表,加速查询
指标的配置层必须与物理表类型严格对应——DWD 层填 commonExpression + dwdAggFunction,DWS 层填 expression + aggFunction,两套独立配置不能混用。SQL生成器按查询场景自动选择具体物理表。
模糊物理建模
逻辑表类型由业务需求决定,而非物理表名前缀:
dim_ 前缀的表可以建逻辑事实表(要算指标),dwd_ 前缀的表也可以建逻辑维表(要暴露维度)。判断依据是"下游怎么用"——需要 GROUP BY + SUM/COUNT 就是事实表,需要JOIN补维度信息就是维表。
业务过程隔离:
同一张物理表可以关联多个逻辑表,按业务过程隔离。
tbcdm.dws_tb_ctlive_jiangjie_vst_gc_itm_pv_lead_trd_1d
├→ jiangjie_pay (LT, businessProcess=pay)
├→ jiangjie_ipv (LT, businessProcess=ipv)
└→ jiangjie_read (LT, businessProcess=read)
指标绑逻辑表时,businessProcess 必须与逻辑表的 businessTag 一致。
语义图谱
语义图谱