货拉拉数据工厂:从3k+工具到AI智能体,我们如何让造数效率翻倍?

当一个数据平台的工具量突破3000+、日均调用超50万次,是该庆祝规模化的胜利,还是警惕效率的陷阱?

货拉拉数据工厂就曾站在这样的十字路口——依托高效的"协议编程"架构,我们实现了工具的爆发式增长,却也迎来了用户最真实的抱怨:"工具太多选不出""串流程要记半天""新手上手太费劲"。

于是,一场从"平台化"到"AI智能化"的跃迁就此启动。今天,我们就聊聊这场转型背后的痛点、方案与收获。

一、3k+工具的甜蜜烦恼:高效架构下的使用困局

在聊转型前,必须先说说支撑我们走到今天的核心底气——"协议编程"架构,简单来说就是:

工具开发者只需写Java工具类(遵循统一规范),平台通过自研解析引擎自动提取功能描述、输入输出参数等元信息,前端再自动生成可视化界面。

这个模式的威力有多强?开发者不用管前端交互、权限控制这些"杂事",专注业务逻辑就行,工具开发成本直接降低60%以上。


靠着这套打法,数据工厂迅速成为内部造数的核心基础设施:工具总量突破3k+,日均调用超50万次。但规模上去了,新问题也找上门了,集中在两个核心痛点:

1. 工具太多,选得发愁

为了鼓励提效,我们采用"全局核心工具+业务线自定义工具"的运营策略,这就导致很多功能相似的工具并存。比如"账号信息查询"这个简单场景,平台上就有3个主流版本:

  • 账号中台:通用版(支持全账户类型)
  • 司机业务线:专属版(仅支持司机账户)
  • 用户业务线:专属版(仅支持用户账户)

实际使用中,70%的用户会优先选本业务线工具,导致通用工具复用率不足30%;更糟的是,新用户得花3分钟对比测试才能找到合适的工具,提升了使用门槛。

2. 步骤太繁,操作耗时

我们的工具大多是"原子化"的,一个工具只干一件事。但真实业务场景往往需要多工具串联,比如"下单并给指定司机流转至完单"这个高频操作,用户得手动走三步:

  1. 用"获取司机信息"工具查车型
  2. 用"下单"工具完成创建
  3. 用"订单流转"工具更新状态

整个流程平均要5分钟,中间还要手动记结果、切工具,不仅麻烦,还容易出错。

二、升级目标:让造数像"说话"一样简单

针对这些痛点,我们明确了AI升级的核心方向:打造一个能理解自然语言、自主调度工具的智能体(Agent) ,彻底改变用户与数据工厂的交互方式。

具体来说,就是要实现三个核心能力,让用户从"工具操作者"变成"需求提出者":

  • 精准懂需求:不用记工具名,用日常话描述需求就行(比如"查一下司机张三的账号信息并履约完单")
  • 智能配工具:系统自动选最优工具,多步骤场景自动串联,不用手动组合
  • 自动跑流程:参数传递、工具调用、结果整合全自动化,直接给最终结果

我们的愿景很直接: "所想即所得,所造皆能成" 。初期目标更是明确:造数效率提升50%以上,新用户上手时间缩短到1分钟内。

三、技术方案:AI+数据工厂的三重协同落地

3.1 技术决策:从理论最优到落地可行

智能体的核心技术选型,我们围绕业务特性做了多轮评估。常见的与LLM结合方案有三种:RAG(检索增强生成)、MCP(执行引擎)和Fine-tuning(模型微调)。

从理论上看,Fine-tuning似乎是最优解——数据工厂覆盖货运、小拉出行、国际化等全业务线,沉淀了大量特有领域知识,微调能让模型深度融合这些知识,减少上下文输入量,提升稳定性。

但早期简易尝试后,我们发现了实际障碍:微调需要大量标注数据,且对算法团队的技术能力要求极高,同时持续迭代的成本也难以承受。综合落地难度与效果反馈,我们最终确定了 “LLM+RAG+MCP”的协同路径,兼顾效果、成本与落地效率。

3.2 技术方案:三大模块构筑智能体能力

我们将智能体拆解为“大脑(LLM)-知识库(RAG)-手脚(MCP)”三个核心模块,分别负责“理解决策”“知识储备”“执行落地”,形成完整工作流。

3.2.1 LLM:智能体的“决策大脑”

LLM是智能体的核心决策层,使用到LLM的共有6处,出于成本与调优效果做了如下组合与配置(精选3个展示):


3.2.2 RAG:智能体的“知识储备库”

LLM 具备强大的通用能力,但对我们内部 3000 + 工具的具体信息 “一无所知”。若直接输入全量工具信息,会导致上下文过载。因此,我们通过 RAG 技术构建 “精准检索 - 高效赋能” 的知识库体系,助力智能体精准 “认知” 所需工具。

实践中,我们选用 bge_base_zh_1.5 作为 Embedding 模型,以适配中文语…

— 以上为试看内容(约 40%),开通会员后阅读全文 —