告别先开发后治理:Agent 驱动的数据质量一体化交付
引言
对于开发者而言,离线数据开发中数据质量建设的核心挑战,从来不是“能否配置规则”,而是:质量规则能否像代码一样低成本、高可靠地融入研发交付全流程。当质量规则游离于开发链路之外,治理便退化为被动补救:SQL上线后补配质量规则、字段变更引发误报漏报、规则与代码版本脱节……最终导致规则越配越多,忙于补救的恶性循环。
开发和治理割裂流程下的工程代价
治理滞后:规则配置晚于数据上线,问题发现延迟
迭代不同步:SQL口径逻辑变更后,规则未联动更新
版本管理缺失:规则脱离代码评审、Diff、回滚体系,难追踪
信任成本攀升:下游因数据约束不透明而反复确认,沟通负担加重
DataWorks 解法:以 Data Contracts 思想驱动“代码即质量”
DataWorks 数据质量引入 Data Contracts 理念,将质量规则以 YAML Spec 形式嵌入开发流程,实现“代码即质量”的一体化开发治理:
开发即治理:在 IDE 中直接为 SQL 节点编写质量 Spec,规则与代码同生命周期。
工程化管理:Spec 支持版本控制、代码评审、Diff 对比,随发布流程自动部署至生产环境。
闭环执行:规则成为节点交付物的一部分,在调度中自动执行,确保质量保障前置化。
本文将从开发治理分离带来的问题出发,详细介绍 DataWorks 如何通过一体化开发治理流程,把质量规则变成节点交付物的一部分,并进一步说明为了实现这条链路,底层架构升级带来的外溢收益与后续规划。
一、当前困境:开发与治理分离
目前在常见工程化链路中,SQL开发与数据质量监控配置是分离的,现象包括:
规则通常在数据上线后才补配置:治理滞后,问题发现延迟。
SQL 迭代与规则不同步:字段口径、过滤条件、分区逻辑变化后,规则仍停留在旧假设上,最终造成误报/漏报。
质量治理变成“出了问题再补救”:规则配置与修复工作被动插入到事故之后。
规则与任务割裂:规则不在代码评审链路里,难评审、难追踪、难回滚。
这就导致质量保障很难工程化:
从“事前预防”退化为“事后补救”,影响数据消费者信任。
生产者与消费者的预期难以对齐,沟通成本攀升。
规则维护变成长期负担:一旦规模扩大,就会出现“规则越配越多,但可信度越配越低”的反直觉现象。
二、DataWorks 的解决方案:一体化开发治理
DataWorks 数据质量借鉴当前业界中 Data Contracts 的思想,把数据质量的声明通过 Spec 的方法融入到整个数据开发流程中,让开发者可以一体化的维护数据加工代码和数据质量声明,二者能够及时的与数据开发代码一同变更,确保数据质量能够得到及时的保障。
2.1 核心思路:
SQL与数据质量Spec一体化开发交付
在 DataWorks 新范式中,数据质量规则以 YAML Spec 形式存在,并具备与代码一致的工程化属性:
在 IDE 中直接配置:编写 SQL 的同时编写质量 Spec。
天然支持版本管理:规则随代码一起 Diff、评审、回滚。
随发布自动执行:规则不再依赖“事后补配置”,而是成为节点交付物的一部分,在生产调度中自动执行。
可以把它理解为:把“质量”从一个平台治理动作,变成研发交付链路中的标准步骤。
2.2 完整工作流
下面,我们结合首次开发 -> 测试验证 -> 提交发布 -> 调度运行 -> 迭代发布的流程,来说明如何做到SQL开发和数据质量保障一体化。
假设我们要开发一张表,建表语句如下:
CREATE TABLE IF NOT EXISTS dws_d_dqc_suggesion_demo( `id` BIGINT COMMENT '主键', `user_id` STRING COMMENT '用户ID', `item_id` STRING COMMENT '商品ID', `shop_id` STRING COMMENT '店铺ID', `name` STRING COMMENT '用户姓名', `family_name` STRING COMMENT '姓氏', `birth_time` DATETIME COMMENT '日期类型的生…