从 Coder 到 Designer :电商团队数据研发的 Harness Engineering 实践

这是2026年的第 36 篇文章

( 本文阅读时间:约 20 分钟 )

01

项目背景

我们团队今年在 AI Data 方向共有两个命题,一个是「数据研发效率提升」,另一个是「数据价值交付」,在项目启动之初,我们面向集团内外都做了深刻的调研,公司内 AI Data 方向的建设主要是在单点提效 Agent、NL2SQL、ChatBI 数据分析这几个方向,而且大多都是在垂直领域取得了不错的效果,但是难以推广为通用方案进行应用。在这个过程中,我们发现两个共性问题:

  1. 横向拓展能力不足。 已有平台能力针对各自业务效果出色,但缺少其他业务接入的标准化接口。其他业务接入时,由于业务特性不同,只能发挥约 30% 的能力。

  2. 数据资产沉淀不足。 NL2SQL 的准确度强依赖于语义层的数据资产质量,而不同团队有着各自不同的语义组织方案,缺乏统一标准。

问题的本质在于“数据研发的知识是碎片化的,流程是非标准化的”。 每个数研同学脑中都有一套「怎么做」的经验,但这些经验难以被复用、被传承、被 AI 理解。基于这些认知,我们深刻思考了数研工作范式升级需要通过 「 知识工程的构建」和「Harness Engineering」架构设计来实现。

  • 知识工程(Knowledge Engineering):解决「AI 凭什么能做对」的问题。将数研专家的经验、业务规则、数据资产转化为 LLM 可理解的结构化知识体系,让 AI「有据可依」。

  • Harness Engineering(AI Agent 管控框架):解决「AI 如何稳定运行」的问题。为 AI 智能体构建系统化的管控框架,通过分离关注点、施加约束、管理上下文与熵值,确保 AI 在长程复杂任务中稳定、安全、可回溯地运行。

02

项目全景:Multi-Agent 驱动的 
NL2SQL 提效实践

基于集团内调研结论,我们选择复用兄弟团队 NL2SQL 约 60% 的已有能力,需要自建的部分聚焦在我们业务域特有的:数据资产(表资产、指标资产、业务维度)、预定义 SQL 模板、业务语义知识库,以及对接业务 AI-Infra 基础能力,这套方案我们在大促场景完成落地,除去资产维护的成本,整体的 NL2SQL 的研发效率大幅提升。

语义层是 NL2SQL 的核心基础设施。它解决的是 NL2SQL 中最关键的一步:从自然语言到精确的数据语义的映射。「自然语言直接转 SQL」的成功率很难高,原因很直白:自然语言里缺少太多关键信息。因此我们引入「语义层」,走 NL2DSL2SQL 的路线:先将自然语言映射到标准化的指标-维度语义,再从语义生成 SQL。

语义层建设面临两大核心挑战:指标命名混乱影响AI效能、数据资产在使用过程中会持续劣化。针对此前存在的指标歧义问题,我们目前采用的是先治理再录入的原则,由核心的数研专家同学负责核心指标资产的数据建模和注册,后续注册指标中心的语义资产都需要经过他们的确认才能录入,后续我们计划通过「标准名称+别名映射+语义边界」规范体系,系统性解决「成交金额/GMV/交易额」等同义词混用、「活跃商家/有效商家」等近义词混淆导致的RAG召回偏差和AI出码错误。同时构建资产防腐双循环机制——上线前由数仓小组拦截语义重复资产,上线后通过定期资产健康度评估,动态清理冗余资产等动作来保证语义资产层的质量。

我们将 multi-agent 体系进行了升级,基于智能体实现工程能力串联,完成生产级数研方案交付,工作流采用顺序协作模式和反馈循环模式的组合(核心节点人工干预)完成整体的需求交付工程串联:

  • 顺序协作:Agent 按照预定义的顺序依次执行任务。老架启动需求分析后,小需完成 SPEC,老架审核后调度小语进行资产盘点,再由老架设计技术方案 ... 形成严格的流水线。

  • 反馈循环:当下游 Agent 发现问题时,可以回滚到上游环节。例如小检发现 SQL 质量问题,任务返回给老架决策是否需要小需重新生成。

这套方案的核心在于「知识工程的搭建」和「Harness Engineering」的架构方案,下面针对这两个部分的实现进行重点介绍说明。

03

知识工程:让 AI 「有据可依」

在数据研发场景下,如果我们都讲不清楚需求是什么、能提供的数据资产有哪些,AI 肯定无法完成我们的诉求。知识工程的核心是将数研专家的「数据研发思路和经验」转化为 LLM 易于理解的结构化知识。这需要建设一套完整的知识体系,让 AI 在执行每一步时都能准确地检索和引用正确的知识;要求构建包含专业术语(语义层)、方法论(Spec/Plan/Task知识结构)及协作规范的三层架构:

  1. 方法论层:通过Spec指导需求分析、Plan规范技术方案、Task定义执行标准,形成"文档即接口"的多Agent协同机制。各阶段文档既是输出成果,又是下一阶段输入,实现SPEC→PLAN→SQL的链式生成。

  2. 协作机制:采用文档状态机驱动8阶段研发流程,结合人工校验形成"需求经验沉淀-能力提升-效率提升"的飞轮效应。关键技术组件包括:AGENTS.md:记录协作规范、Skills引擎:执行核心操作、Knowledge库:沉淀研发经验

  3. 执行原则:基于数研经验初始化知识体系,并通过需求调试持续优化。NL2SQL能力栈遵循"文档驱动研发+持续自迭代"原则,计划于4月底接入生产环境。

该架构通过结构化知识沉淀(三层体系)、流程化协作约束(状态机)、经验化能力进化(飞轮效应),实现AI在数据研发场景中的可控执行与持续进化。

需求如何交付 

我们设计了一个三层的质量保障架构,让复杂的数据研发流程更靠谱、更高效。这三层体系就像三道安全网,既保证了研发质量稳定,又能让团队越干越熟练,效率自然就提上来了。

第一层流程标准化:有点像搭积木。通过配置文件和技能清单把常用流程固定下来,这样大家做事有章可循,效率自然就上去了。

第二层质量把关:我们用详细的技术规范+人工复核,就像给AI加上双重保险,既能规范输入输出,又能及时发现那些容易出错的地方,最大限度避免AI「脑补」出问题。

第三层是知识管理:平时工作中积累的业务经验和调优方案都会被系统化沉淀下来,慢慢就形成了一套可复用的知识库,相当于给团队打造了一个「经验宝库」。

经验如何消费

知识工程最重要的是「知识是否在持续生长」。我们设计的闭环机制确保每一次研发过程本身就是一次知识生产过程。

  1.  研发即沉淀。 每完成一个数据需求,过程中产出的 SPEC、PLAN、SQL、验证报告都自动归档到 Archival Memory。新增的指标定义自动进入语义资产库。踩过的坑记录到 anti-patterns.md。这样,团队的知识资产随着项目推进自然增长。

  2.  从「人可用」到「AI可食」的转型。 传统的数据资产是为人设计的 —— 人能看懂就行。但 AI 需要的是严格结构化、语义明确、可机器…

— 以上为试看内容(约 40%),开通会员后阅读全文 —