Copilot 需求交付 Skill 如何实现数据需求24h交付
本文介绍了一个面向数据开发团队的数据需求交付 Agent Skill。该技能通过自然语言交互(可以是从 Aone、钉钉消息、PRD 中提取的描述),输出是一份结构化的 Copilot 交互物(prompt),可以直接复制到 DataWorks Copilot 或调用其他大模型中生成高质量 SQL 代码。让数据研发从“依赖人的连续投入的串行排期”转变为“Agent自动执行,人按优先级介入决策的并行推进”。文章从背景痛点、skill介绍、实战场景、核心能力拆解等方面系统展开,并在最后给出总结与展望,希望为同样在做数据质量保障和 Agent 工具落地的开发者提供参考。(文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。)
前置说明
▐ 技术栈与适用范围
▐ 技术栈与适用范围
▐ 技术栈与适用范围
本方案基于以下技术栈实现,读者可以参考其中的设计思路将类似方案适配到自己的环境:
计算引擎:MaxCompute(ODPS),云端大数据计算服务
数据开发平台:阿里云 DataWorks,提供表结构查询、节点代码获取、数据血缘追溯、SQL 执行等 API 能力
Agent 运行时:支持 Skill 定义和自然语言交互的 Agent 框架
核心设计思路(标准化模板、基准表发现策略、降级验数策略等),适用于任何有标准数据建模、元数据查询 API (表结构、表代码)和 SQL 执行能力的数仓研发平台。
▐ 术语解释
▐ 术语解释
▐ 术语解释
背景与痛点
背景与痛点
在淘宝直播数据团队内,大量同学已经习惯了通过 DataWorks Copilot 等生码工具生成 SQL ,提升需求交付的效率 。现阶段SOTA的代码模型生码质量确实强大——一个简单的取数需求,如果口径清晰、来源表明确、数据模型定义准确(表与表关联关系、业务语义翻译),通过和 Copilot 对话,大约十分钟以内就能得到一段主体框架正确,基本能运行的代码。
但问题在于:"口径清晰、来源表明确、数据模型定义准确"这个前提,在真实的工作场景里恰恰是不具备的。用了半年后,笔者总结出了当前在使用AI生成SQL代码时的几个痛点。
▐ 痛点 1:写 Prompt 这件事本身就很累
▐ 痛点 1:写 Prompt 这件事本身就很累
▐ 痛点 1:写 Prompt 这件事本身就很累
大家都知道 Copilot 生码质量取决于 Prompt 质量,但问题是:
你要自己从需求描述里提取关键信息,自己回忆或翻文档找来源表,自己梳理字段映射关系和加工口径,自己组织一段结构化的提示词。这整个过程全靠人脑跑,一次复杂需求光"写 Prompt 准备工作"就要半小时起步。那可能还不如自己手写代码了。
本质问题:Prompt Engineering 是一套独立的心智负担。编写时用户脑子里同时要装业务口径 + 表结构 + 团队代码规范 + Copilot 的偏好格式,本身就要花费时间。
▐ 痛点 2:复杂业务逻辑生码质量差
▐ 痛点 2:复杂业务逻辑生码质量差
▐ 痛点 2:复杂业务逻辑生码质量差
一旦遇到业务语义模糊、逻辑复杂需求,Copilot 基本就"崩了":
示例:「xx应用事件埋点看板:从商品 id × 商品版本 × 主播 id,计算全链路 12 个事件的耗时、重试次数」
这个需求有多个数据源、多层 CTE 嵌套、复杂的配对逻辑(比如"取跟着 事件id为 1019 后的第一条 1021/1023/1026"),直接丢给 Copilot 的结果通常是:
编造不存在的表名
不遵守离线研发规范或指标命名规范
数据模型设计混乱,业务语义不能准确翻译成 SQL 代码逻辑
造成的结果就是,把需求 PRD 简单处理后输入给大模型生成代码,改 bug 的时间比从头开始写还多。
本质问题:LLM 对"复杂嵌套逻辑"和"隐含业务约束"的理解能力有限,复杂业务逻辑需求的模型设计、需求拆解还是依赖有经验的数据研发同学来完成。
更深入地分析:当前网页端 Copilot 的交互模式没有 spec 约束,大模型当然可以"猜",但当它在业务逻辑翻译、表与表关联、聚合粒度上猜错其中一步时,整段 SQL 就废了——而且用户很难指导模型修改,只能整段重写。
解决的方法就是 Spec Coding(规约驱动编程) ——在让 AI 写代码之前,先让 AI 帮你把"要写什么"搞明白,产出一份双方确认过的规格说明书(Spec),再基于 Spec 让 AI 写代码。代码生成不再是"黑盒魔法",而是"翻译"——把经过人类 review 的模型设计翻译成代码。
▐ 痛点 3:多轮对话的"熵增定律"
▐ 痛点 3:多轮对话的"熵增定律"
▐ 痛点 3:多轮对话的"熵增定律"
Copilot Agent 模式可以多轮对话,上一轮的结果可以作为下一轮的上下文。这本来是好事——但实际体验是:
你在一个session的对话里完成了需求输入、问题澄清后,模型生成了代码,但是你还是发现有几处地方有问题。当你通过和它对话修复了部分错误以后,上下文越来越长,模型思考越来越久,效果也有一定衰减。这个时候,你想开一个新对话——那就得把之前整理好的需求内容、表结构、纠错的对话从头再跟它说一遍。
本质问题:多轮对话的上下文越来越长,网页端生码不适合长程沟通,需要拆解需求完成过程,对中间过程状态做落盘归档。
▐ 痛点 4:需求评审后没有明确的产物
▐ 痛点 4:需求评审后没有明确的产物
▐ 痛点 4:需求评审后没有明确的产物
这个痛点藏得最深,但杀伤力最大。
需求评审以后没有明确的产物,对需求的理解停留在需求描述、钉钉聊天记录和大家的脑子里。例如:业务方说"确收成交金额",数据同学认为就是普通口径的确收成交金额,但是没想到业务真实要的是锁支付确收成交金额。几天后需求交付,验数的过程中,业务方说"这个数不对",数据同学查了才发现——口径理解不一致。
没有一份双方都认可的结构化需求方案做锚点,所有口头共识都是薛定谔的共识——在真正看数据之前,你永远不知道它是"一致"还是"不一致"。
本质问题:缺少一份标准化的、需求方和数据方共同对齐的中间产物。PRD 太粗,SQL 太细,中间缺了一层"数据语义翻译层"。
▐ 痛点 5:多需求只能串行排期,交付效率低
▐ 痛点 5:多需求只能串行排期,交付效率低
▐ 痛点 5:多需求只能串行排期,交付效率低
当数据研发同学同时承接 3-5 个需求时,每个需求都需要经历:整理需求文档 → 查询指标口径和相关表 → 制定技术方案 → 编码 → 验数。这些步骤中,"整理文档、查口径、定方案"占据了大量时间,而且高度依赖人的连续注意力——你不可能在写 A 需求的技术方案时,同时去查 B 需求的指标口径。
结果就是:需求只能串行完成,后面的需求只能排队等。即使某些需求本身复杂度不高,也因为"前置准备工作"的时间成本被迫延后。
本质问题:需求交付的前置准备工作(需求澄清、口径确认、表结构梳理、技术方案制定)耗时长且依赖人的连续投入,无法并行化。如果这些工作能被 Agent 分担,数据研发同学就可以同时推进多个需求的"准备阶段",只在关键决策点(需求澄清 确认、模型设计 CR)介入,从而实现多需求并行推进。
▐ 痛点总结
▐ 痛点总结
▐ 痛点总结
五个痛点串起来看,其实指向同一个根因:
从“业务需求”到“高质量 Prompt”这一段,缺少一个标准化、可复用、不依赖个人经验的自动化工具,帮助数据研发同学提升效率。
因此,笔者做了: Copilot 需求交付 Skill(copilot_req2sql)。整个Skill分为4个阶段工作流,产出的 P1-P4 文档,本质上就是一份分阶段确认的 Spec 文档链:从需求澄清 → 资源梳理 → 模型设计 → 交互物 Prompt,每一步都是一个不可篡改的"锚点",上一步不确认就不推进下一步。
copilot_req2sql 介绍
copilot_req2sql 介绍
▐ 一句话定义
▐ 一句话定义
▐ 一句话定义
copilot_req2sql 是一个数据需求交付 Agent Skill。它的输入是一份业务需求(可以是从 Aone、钉钉消息、PRD 中提取的描述),输出是一份结构化的 Copilot 交互物(prompt),可以直接复制到 DataWorks Copilot 或其他大模型中生成高质量 SQL 代码。
整个过程通过和Agent对话完成,包含 4 个阶段:需求澄清、资源管理、模型设计、交付物产出。
▐ Spec 目录结构
▐ Spec 目录结构
▐ Spec 目录结构
Skill 执行过程中会自动创建规范的目录结构,每个需求对应一个独立的 Spec 目录:
specs/├─ yyyymmdd_{任务名}/ ├── stages/ # agent工作流程 ├── p1_requirement.md # 需求澄清结果 ├── p2_resources.md # 相关表和伪代码 ├── p3_model_design.md # 模型设计 ├── p4_copilot_input.md # 给copilot的input ├── workflow_events.jsonl # 工作流事件记录 ├── proposal/ # 人整理的信息 ├── yyyymmdd_proposal.md # 人整理的信息这种目录结构的好处是:
清晰分层:
stages目录存放 Agent 自动生成的文档,proposal目录存放人工整理的原始需求可追溯:
workflow_events.jsonl记录了整个工作流的执行过程,便于问题排查可复用:每个需求的 P1-P4 文档都是独立的、可复用的资产
可并行:每个需求独立的 Spec 目录让 Agent 可以并行为多个需求推进 P1-P3 阶段,数据研发同学只需在关键节点(P1 确认、P3 CR)介入,实现多需求并行处理
▐ Skill 工作流
▐ Skill 工作流
▐ Skill 工作流
整个Skill本质上是分阶段的 Spec 的编程范式:
一言以蔽之:普通的 AI 辅助编程是"你说需…