从超级个体到超级组织:1688 数据中心 Multi-Agent 研发小队实录
一、前言
我们在做数据研发领域的 AI coding,在建设项目能力的过程中和集团很多的 BU 都有深入的交流,今年发现大家除了端到端的交付外,大家都在探索"超级组织",我们通过「 Loop Engineering」和「知识工程」解决复杂工作流的稳定性与自动化问题,搭建了“数研超级组织”的雏形 ~
之前我们在本地用 OpenClaw 搭了一套 Multi-Agent NL2SQL 方案,跑通了端到端交付,验证了 Harness Engineering 的可行性。但要做到真正的团队提效,还有三个根本性的问题需要解决:
语义资产无法系统化沉淀: 1688 经过业务高速发展,为了保障需求的上线速度,在数据资产的建设上做了很多的妥协。数据资产有很多不规范的地方,例如"商家会员 ID",多个业务域,都有各自的命名方案,且分散在不同的表里。这些"语义资产"——指标口径、维度定义、表关系——散落在每个人的脑子里和本地配置里,NL2SQL 的准确率取决于这些东西的质量,但在本地 Agent 运行时里做语义资产的冷启动和持续更新,技术上非常难采集和管理。
本地 Agent 回收不了经验:每个人的 Agent 都在本地跑,产出的知识留在个人电脑上。我调好了一组 NL2SQL 的 Prompt,你不知道;你踩过的口径坑,我还会再踩一遍。一个新的同学入职或是某个同学要接手另一个业务域的研发需求,就会有一个比较长的Landing的过程。
Multi-Agent 的冷启动成本太高:数据研发同学已经有各自习惯的 Agent 工具(Qoder、Qoder Worker 等),这些工具上手快、单点提效明显。但要配置一套 Multi-Agent 的端到端流水线(需求澄清→数据建模→SQL 研发→CR→测试),对大部分同学来说是有认知成本和配置成本的。如果这个成本得不到分摊和复用,就没人愿意迈出第一步。
趋势很明确:个体提效已经不是问题了——一个会用 Agent 的"超级个体",产能可以超过一整个初级团队。
问题也很明确:每个人的 Agent 都跑在本地,经验不共享,知识不流转。老司机用 Agent 跑出了最佳实践,新人还在踩同样的坑。
二、核心策略:数研飞轮
没有高质量的语义资产,Agent 无论怎么调都是在凭空想象,NL2SQL 的准确率天花板由此决定。Harness Engineering 把知识系统化地注入到每一个执行环节,让 Agent 的行为可预期、失败可追溯,从 Demo 走向生产级。Agent 组织协作平台"怎么让更多人用起来"——让知识和 Harness 可被团队复用,使用过程中产生的新知识自动回流,飞轮才能真正转起来。数据研发提效不是一个点,是一个飞轮。飞轮的关键不是某个环节多强,而是闭环能不能转起来——知识让生产提效,用的过程再产生知识。这个飞轮,本质上就是一个 Loop。全自动冒烟测评 & 全自动复盘驱动知识回流,知识回流让小队持续变强,这个闭环每轮都在自转。
选择 | 解决什么问题 | 核心设计 |
KST 知识工程体系 | 语义资产的系统化沉淀与消费 | K(领域知识)+ S(行为规范)+ T(工作流配置)三层分治 |
Harness Engineering | NL2SQL 从 Demo 到生产级 | 意图澄清→SQL 生成→多轮校验→置信度评估→降级兜底 |
Agent 组织化协作平台 | 知识回流 + 经验复用 + 冷启动分摊 | 研发小队 fork 模式 + 使用过程数据自动回流 |
研发提效:通过「知识工程」和「Harness」实现研发提效飞轮
飞轮迭代:通过Agent 组织化协作平台让个体的知识和最佳实践沉淀,实现「生产工作流」和「数据资产」的自迭代
三、知识工程:让 AI 有据可依
业务吐槽数据不准,你遇到过么。 Agent 用了一个旧版的 GMV 口径生成 SQL,跑出来的数偏了不少,业务方直接反馈到主管那里,说数据不准,是模型不行么。NL2SQL 的准确率,很大程度上由输入端的知识质量决定。需求说不清楚、语义资产对不齐,模型再聪明也是白搭。这不是经验之谈,是我们踩了足够多的坑之后得出的结论。知识工程,是这套方案最值得投的地方,也是我们把它排在第一位的原因
3.2 KST 三层架构
我们踩过的坑告诉我们:业务知识、行为规范、工作流配置,是三种完全不同性质的知识,混在一起管会乱套,必须分治。我们设计了一套三层知识架构——K(Knowledge)+ S(Spec)+ T(Task)——分治不同类型的知识.
K 层:领域知识(让 Agent 理解业务)
资产类型 | 一句话定义 | 内容示例 | 解决什么问题 |
业务规则库 | 业务“是什么”、“怎么算” | "即时零售单产(单品日均GMV) = 单品日均GMV = 即时零售_gmv / 含已下架动销商品数。" | 口径不一致 |
元数据知识库 | 数据"在哪里"、"长什么样" | 表名、字段含义、血缘关系 | Agent 找不到正确的表 |
SQL 规范库 | 代码"怎么写才合格" | 分区过滤规则、NULL 处理、DDL 命名规范、字段 comment 标准、验收标准 | 交付物质量参差不齐 |
Multi-Agent 配置 | Agent"怎么跑、跟谁配合" | Agent 角色定义、协作规则、交接标准 | 流水线行为不稳定 |
Skill 原子能力 | AI 提效技能资产 | 找表、指标查询等 Skill 的接口与使用契约 | Skill 调用失败率高 |
经验沉淀库 | 踩过的坑"别再踩" | SQL CR 翻车教训、Bad Case 记录、可复用 SOP(如 LEFT_ANTI_JOIN 排除案例、ROW_NUMBER 去重案例) | 同一个坑团队反复踩 |
Agent 经验沉淀库是目前最有差异化价值的一类,也是最难靠设计得到的。24 条 SQL CR 记录,是从每一次真实的代码审查里自动沉淀的 Bad Case 和翻车教训,不是人工整理出来的,是流程跑出来的知识副产品。这就是我们说的"以 Agent 养 Agent"最真实的载体。
S 层:行为规范(让 Agent 行为可预期)
有了业务知识,还需要告诉 Agent 怎么用。S 层不是业务知识,是 Agent 的行为 Spec——定义 NL2SQL 流水线中每个节点应该怎么做、输入是什么、输出标准是什么、验收条件是什么。不再是"跑一次看运气",而是有明确的契约。我们的小队指令已经迭代到 v5 版本——每一版都是实战中踩坑后的修正。举个例子,我们的 SQL 研发节点(小研)的 S 层 Spec 包含:
输入:标准化需求文档(来自小需)+ 语义资产包(来自 K 层)输出:DDL + DML + 规范自检报告验收标准: - DDL 命名符合团队命名规范 - 分区字段用 ds STRING COMMENT '业务日期yyyymmdd' - 字段 COMMENT 必须包含中文说明 + 统计口径 - SQL 中禁止 SELECT *,必须显式列出字段 - 规范自检 0 ERROR - ...... - ......
T 层:工作流配置(让流水线能跑)
知道做什么、知道怎么做,最后还差一件事:知道跟谁配合、按什么顺序做。T 层定义 Multi-Agent 的协作方式——"顺序协作 + 反馈循环"的组合:
顺序协作:Agent 按预定义顺序执行,每一步有明确交付物
反馈循环:CR 发现问题打回返工,最多循环 3 次
人工审批卡点:每个阶段正向流转前,老架验收 + 真人"approved"才能继续
为什么坚持人工审批卡点?因为 Multi-Agent 工作流很难一步到位。既然无法一步到位,关键节点让人来兜底。随着知识库变厚、流水线变稳,逐步减少人工介入。
3.3 语义资产的冷启动
知识工程的第一道坎是冷启动——上百指标、上千维度的口径,谁来梳理?
我们的答案是“以 Agent 养 Agent”:用 Agent 的能力,来加速 Agent 需要的知识建设。用 Agent 扫描已有的 SQL 脚本、DataWorks 节点、报表、钉钉文档,自动抽取指标名称、计算公式、维度定义、表血缘关系,生成知识草稿。语义资产审核 Agent review 草稿,修正口径错误,补充 Agent 没抽到的隐性规则,标记置信度。通过审核的知识条目注册到 K 层知识库,被后续 NL2SQL 请求消费,消费过程中再通过使用的同学给的输入进一步复盘提高语义资产质量。
效率对比很直接:手工录入 200+ 指标需要数周,Agent 扫描 + Agent 审核 只需要数小时。以分销域知识库的冷启动为例,跑下来的结果是:13个规则文件、40+个表描述文件、1本 SQL 编码规范手册。Agent 扫描花了大约 2 小时产出初稿。
但有一个问题需要坦诚面对:80% 的通用知识(指标名称、计算公式、表结构)可以通过扫描自动化提取。剩下 20% 的"潜规则"——"这个字段虽然叫 buyer_id 但实际不写入数据"、"这个指标的分母需要排除测试商家"——还是得靠使用中发现经验才能沉淀到知识库里。
这 20%,是知识工程最费力的地方,也是最有价值的地方。因为这些"潜规则"恰恰是新人最容易踩坑、Agent 最容易出错的盲区,沉淀下来一条,就能替整个团队省掉一次返工。冷启动阶段收不全这些,没关系——它们藏在大家每天做需求的过程里,跟着用、跟着改,自然就浮出来了。 这就是我们设计持续回流机制的原因。
3.4 语义资产的持续回流
冷启动只是第一步,更难的是让知识库持续更新,别变成"知识坟场"。我们的做法是把回流嵌进日常干活的流程里,正常做需求、正常纠错,定期复盘更新语义。
路径一:需求交付过程中的自动回流(主路径)
数据研发同学在平台上做需求的过程中会产生各种知识碎片:口径补充("这个 GMV 不含退款订单")→ 抽取为 K 层指标知识条目;口径修正("buyer_id 是冗余字段,改用 buyer_name")→ 更新 K 层 + 触发相关需求重新校验;CR 发现的问题("分母需要加非零判断")→ 沉淀到 SQL 规范库;Agent 行为修正("不应该跳过数据建模直接写 SQL")→ 更新 S 层行为 Spec + 小队指令升级。
关键设计:同学不需要"额外做一步"——正常做需求、正常纠错,平台在后台自动捕获并结构化。这也是我们坚持用Agent 组织化协作平台而不是本地 Agent 的核心原因:知识回流,必须建立在"所有人在同一个平台上"这个前提之上。
数据研发同学在平台上做需求 ├── 口径补充("这个 GMV 不含退款订单") │ → 抽取为 K 层指标知识条目 ├── 口径修正("buyer_id 是冗余字段,改用 buyer_name") │ → 更新 K 层 + 触发相关需求重新校验 ├── CR 发现的问题("分母需要加非零判断") │ → 沉淀到 SQL 规范库 └── Agent 行为修正("不应该跳过数据建模直接写 SQL") → 更新 S 层行为 Spec + 小队指令升级
路径二:冒烟测评驱动的知识补全与指令升级(被动补漏)
冒烟测试跑出来的失败案例,往往是 K 层知识缺失或 CLAUDE.md 指令漏洞的直接信号——
Agent 选错了表 → 元数据知识库中缺少表的使用场景描述 → 补充 K 层元数据
Agent 生成的 SQL 不符合 ODPS 团队规范 → SQL 规范库中缺少对应规则 → 补充 SQL 规范库