天猫超市数据AI实践总结
背景
近年来,人工智能技术正以快速的发展重塑各行各业。大模型(LLM)的突破性进展,使得自然语言理解、生成与推理能力显著提升,AI不再局限于图像识别或推荐系统,而是逐步向复杂决策和自主执行演进。在这一背景下,“Data Agent”成为企业智能化升级的一个探索方向。
业务的数据资产历经十年建设,已形成规模庞大的数据体系:
累计沉淀 数万张表、近万个调度节点,其中核心保障任务约占30%+。
涵盖供应链、交易、日志、商品、直播等数据域。
然而,长期发展过程中也积累了诸多结构性问题:
规范问题:大量表字段与指标缺乏统一命名标准和清晰语义描述,存在“同名异义”和“异名同义”现象;
冷资产问题:因业务变迁、组织融合等原因,遗留了无人维护、低使用频率的“僵尸表”与过时口径;
逻辑口口相传:各域虽已逐步厘清内部数据模型,但关键业务知识(如指标口径、维度解释、依赖关系)仍散落在大数据平台脚本、报表系统、内部协作文档等非结构化载体中,缺乏统一归集与管理机制。
与此同时,数据研发团队需同时承担日常站点维护、高频数据答疑、临时取数支持及新需求开发等多重任务,导致精力分散,难以专注于核心模型建设和资产优化。
面向业务同学,日常工作中存在大量数据依赖型任务,例如手动汇总多系统数据(ERP、报表平台、线下表格)定期更新日报、周报、专项分析。当前这些工作普遍依赖人工操作,存在两大痛点:
人力成本高:重复性取数与整理耗费大量时间;
效率低下:跨系统取数流程繁琐,响应周期长;
在此背景下,我们启动 AI 项目 —— 一款 AI 数据助手,旨在通过自然语言交互实现“低门槛、高灵活性”的智能取数与分析服务,让AI能像专业的数据工程师、数据分析师一样,听懂业务问题、自动规划取数路径、生成并执行SQL并输出洞察结论,实现从“人找数”到“AI取数、分析、用数”的转变。
然而,一个高效、可靠的Data Agent离不开强大且结构化的知识支撑体系。没有高质量的知识库,AI难以准确理解语义、正确生成逻辑、稳定交付结果。
因此,构建一套面向 AI 的、可理解、可检索、可推理的 AI-知识库体系,已成为推动数据研发提效、赋能智能取数的核心基础设施。本文将以 AI 项目实践为基础,系统总结我们在知识库方案设计、内容构建、维护挑战、图谱召回及平台化落地等方面的探索与经验,旨在打造一个支持 Data Agent 高效运行的“数据认知中枢”。
知识库设计
维护方式
不重构数据模型:数据资产太多,需求压力大,数研精力有限,无法面向AI重构数据模型,优先在知识库层面让LLM理解现有表设计。
知识库可拓展性:历史上未建设指标管理中心,而前期知识库结构、内容可能会面临不断调整、适配,需要一个灵活的知识库前期进行探索,通过钉钉表格、文档进行前期知识库维护。
知识库质量:数据资产质量参差不齐,不能全量维护,若对所有资产“一刀切”地纳入AI可用范围,将导致模型输入噪声大、推理结果不可信,筛选核心数据资产进行维护,从小而精致的知识库慢慢开始扩展。
这样可以通过较小的代价来维护面向AI的数据资产,对于初期LLM产品来说,这样可以牺牲一些全面性,但能提升准确性。
维护种类
一个好的知识库应该包括哪些信息?从数据研发工作角度来看,一个数据需求必须要明确以下内容才可以进行开发。
指标定义:包括指标的名称/公式/是否可加
数据粒度:数据的聚合粒度
数据范围:数据底表的范围,包括日期限制/业态限制/取数限制等
这些信息正好构成了书写SQL中必要信息,自然而然我们也分别构建指标(Metric Logic)/实体(Entity)/属性(Attribute)/表(Table)/字段(Columns)等知识库。
大图一览
内容构建
1.极低频变更,在知识库中,负责数据域主要作用是划分后续用于维护具体知识和元数据的数据小组,用于后续知识库变更审批流程。 | ||
2.基于同语义的实体,定义出一个标准实体名和多个泛化实体名,多个泛化实体只会对应一个标准实体,例如供应商和商家为同一个含义,标准名称归一化为商家。 | ||
1.区别于数仓中的属性叫法,这里的属性既是实体的各种属性,也可以是数据分析中的维度。比如商品作为一个实体,商品ID,商品名称等都是实体的一个属性。 2.对于标准属性名,基于同语义属性,定义出一个标准属性名和多个泛化属性名,多个泛化属性只会对应一个标准属性,例如买家ID和用户ID为同一个含义,标准名称归一化为用户ID | ||
2.对于同语义的指标,我们选择最规范的一个中文指标名作为标准指标,其余指标名作为标准指标的泛化指标,例如标准名称为CTR,泛化名称为点击率,为同一个指标。 | ||
1.表清单会作为图谱输入的标准化数据资产,用来构建表节点和节点间的路径边。 2.表的元数据,包括数据域、表层级、表备注、表关键词等,这些信息是图谱路径召回以及生产SQL的核心参考依据。 3.借助大模型和对表和字段,进行关键词提取和备注描述优化。 | ||
1.结合人工维护、模型优化后的表备注、表关键词、标准名称进行改写DDL,仅知识库中的DDL会改写、标准化,和属性、指标的标准名称进行绑定。 |
知识库实践&效果
知识库构建经历了2个阶段,第一阶段是通过钉钉文档的方式进行快速维护&更新,主要是核心数据资产,并供给知识图谱和下游Agent使用,用于跑通POC案例,并在实践的过程中不断完善知识库的设计方案。随着下游应用场景的扩展,更多的数据资产需要通过知识库维护,同时知识库结构相对稳定,知识库逐渐走到了第二阶段——产品化建设。
3.1.1 前期钉钉文档
基于以上方案,结合元数据,对表、字段、指标等进行了评估和筛选,借助大模型能力对提取表、字段关键词并进行泛化,对DDL进行优化和标准化,构建知识库。以下为重点构建案例:
指标/实体/属性清单
英文字段:div_pay_amt、pay_ord_amt、scitm_pay_ord_amt、gmv等 中文备注:成交金额、支付金额、GMV、成交规模 | ||
重点描述表的使用方法,交易指标需按照先按照order_id分组其他字段max,计算ipv需先按照user_id+item_id分组,其他字段取max等特殊用法说明。 | ||
拆组套交易明细 | 场域活动订单|通道活动成交|场域ipv|用户商品ipv | |
字段与标准指标和标准属性进行绑定,只绑定需要消费的字段,无关字段不维护,后续也不进去到图谱中 | ||
3.1.2 正在产品化