阿里妹导读
文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。
一、背景与动机
淘宝每天有大量新发内容。一条内容在发布初期能否拿到合适的曝光机会,基本决定了它的成长上限:流量少了好内容还没验证就沉底,多了流量预算被低效消耗。“内容成长机制”就是在解这个流量分配决策问题。
在过去一年,我们已构建起一套覆盖内容孵化全链路的策略体系,实现了在多场域下的流量扶持。然而,面对供给多元化和运营精细化的双重挑战,这种基于人工规则、单点模型打分及分散规则协同的模式,三个瓶颈日益凸显:
-
多信号融合困难:判断一条内容值不值得推,要看内容质量、账号画像、同类历史表现、实时流量供需等十几路信号。规则写不完,单点模型的特征工程在新场景下迭代太慢,后期信号新增和维护难度极高
-
决策说不清楚:一条内容为什么拿到这么多PV?业务方需要可解释性归因,而传统打分模型只输出一个分数(what),解释不了"为什么"(why)
-
新场景接入慢:每接一个新场景或做一个新实验,要重新改规则、训模型,需求从提出到上线往往以周为单位
为此我们提出一个以 LLM Agent为决策大脑的全自动内容成长引擎 GrowBrain。该系统通过 Planning-Execute-Summarize (PES)三段式编排范式统一调度多个子 Agent 组成的能力矩阵(如"潜力评估、流量分配、漏斗诊断等"),服务内容成长全周期。让内容成长决策从“规则拍板+人工兜底”升级为 Agent 驱动的智能决策,同时保证生产链路要求的延迟、稳定性和可解释性。
核心贡献
-
Agentic 范式落地:将 LLM Agent 作为冷启决策主链路的核心节点,而非外部调用工具插件,验证了 Agentic 范式在内容成长链路上的可行性
-
多 Pipeline 共享能力底座:同一能力矩阵同时服务工业生产调用、对话场景、产运平台等多场景,避免能力重复建设
-
小模型生产可靠性工程:沉淀小模型在生产链路的可靠性工程方法,经过SFT的小模型也可以稳定在线Serving
二、前期 Agent 架构探索历程
GrowBrain 的架构并非一步到位,而是在生产环境真实挑战的驱动下,经历了从框架选型、Demo 验证、到工业化改造的完整探索过程。
2.1 框架选型:
xlangchain 与 ReactAgent 起步
我们的核心诉求是:一个能在高并发场景下稳定运行的 Agent 框架,要求即插即用的大模型服务、完整的 Agent 执行能力(Tool / Skill / Memory)、Java 原生直接跑在容器里。经过调研,我们选择了集团内部原生支持的 xlangchain 框架。
xlangchain 是基于 Java 的 Agent 开发框架,灵感来自 Python 的 LangChain。
简单来说,xlangchain 做了下面四件事:
- 给Agent"一个大脑": 对接大语言模型,让它能理解问题、做推理、生成回答。xlangchain 封装了 Whale 平台的模型调用,你不需要自己处理模型协议,直接用就行。
- 给Agent"一双手": 定义各种"工具"(Tool),比如查日志、调接口、算分数。Agent 在思考过程中会自己决定什么时候该用哪个工具,用完之后继续推理。
- 给Agent"一份记忆": 让 Agent 记住之前聊过什么。这样你可以追问"刚才那个报错,还有别的 case 吗?",它知道"刚才"指的是什么。
- 给Agent"一套工作流程": 你可以告诉 Agent 在什么场景下该怎么做(Skill),也可以把多个步骤串成一条链(Chain),甚至让 Agent 自己规划任务再逐个执行。
不用一次记住所有模块。只需要理解四个核心角色,其余的都是围绕它们展开的:
| 角色 | 对应模块 | 一句话理解 |
|---|---|---|
| 大脑 — 负责思考和表达 | LLM、Prompt、Embedding | 大语言模型是 Agent 的核心智能。Prompt 控制"怎么问",Embedding 处理语义搜索 |
| 手脚 — 负责干活 | Tool、MCP | 你把查日志、调 API 这些操作封装成 Tool,Agent 思考后自己决定调哪个。MCP 是工具调用的标准协议 |
| 记忆 — 负责上下文 | Memory、VectorStore | Memory 保存对话历史,VectorStore 存储知识库,让 Agent 不会"失忆" |
| 流程控制 — 负责编排 | Agent、AgentExecutor、Chain、Skill、ReactAgent | Agent 做决策,Executor 管循环,Chain 串步骤,Skill 注入场景指令。ReactAgent 是开箱即用的入口 |
ReactAgent执行示意图
框架自带的ReactAgent,其开箱即用的 ReAct 循环模式(Thought → Action → Observation → …)在极简 Demo 下跑得不错,但当我们把它放到生产链路、尤其是小模型(4B 以下)场景时,暴露出两个核心问题。
2.2 从 Claude Code 到高并发 Agent 服务端:
架构演进的必然之路
Claude Code 是优秀的本地编码助手,但它不是我们要建的"服务"。理解它的局限,是理解服务端 Agent 架构设计的第一步。
如果你用过 Claude Code,会对它的工作模式很熟悉:你提一个问题/指令,它理解你的代码库,给出回答/执行指令,然后等待下一个问题/指令。这是一个"一问一答"的交互式会话,每个实例只为单个用户服务。
在这种模式下,有几个事情是不需要担心的:
- 上下文永远不会混乱:因为只有一个对话,Memory 不需要隔离
- 资源永远不会争抢:因为只有一个请求在跑,不需要排队、限流
- 状态永远不会污染:为没有并发,不需要考虑线程安全
这就是 Claude Code 作为"类客户端"程序天然享受的红利。它不需要考虑高并发,因为它的服务对象只有一个:你自己。
但如果我们想把 Agent 能力开放成一个服务端,同时让成百上千个请求同时接入、每天处理上万次请求,情况就完全不同了。
2.2.1 从"能跑起来"到"能扛住流量"
服务端 Agent 的核心挑战
当我们把 Agent 从本地搬到服务端,从"单用户交互"变成"多租户服务",有两个根本性的问题立刻浮现出来:
- 状态管理是最棘手的。在单机上,一个 session 的内存管理很简单。但到了分布式环境,用户的第 N 次请求可能路由到任何一台机器,那台机器需要能立即接续对话,这就涉及到 session 的路由、上下文的持久化和快速恢复。
- LLM 调用的吞吐瓶颈。大模型推理本身就是计算密集型的,API 调用有速率限制。高并发下需要设计合理的排队机制、降级策略,以及可能的模型路由:简单问题用快模型,复杂问题用强模型。
我们的实践路径
在淘宝Agentic内容成长引擎的落地过程中,我们完整经历了这个演进过程:
Claude Code 式的单用户交互 ↓ReactAgent 开箱即用的 Demo 验证 ↓小模型下的幻觉 + 执行不可控问题 ↓演进到 Planning + Execute + Summarize 架构 ↓发现高并发下的状态污染问题 ↓最终沉淀为 uni_agent 的无状态服务设计
每一步都不是"理论上更好"的选择,而是生产环境的真实教训逼出来的。
2.2.2 核心问题一:ReactAgent + 小模型 = 幻觉失控
我们的场景:用户请求"请帮我分析下内容A的潜力分",系统中注册了 content_potential_tool(调用潜力预估服务接口获取内容潜力分)。
预期的 ReactAgent 流程:第一次 LLM 调用 → LLM 返回 function_call 要求调用 content_potential_tool → 框架执行工具拿到真实潜力分 → 第二次 LLM 调用 → 基于真实数据返回最终结果。
实际问题:当我们使用 Qwen3-0.6B 小模型时,ReactAgent 频繁翻车。
小模型在 ReAct 循环的第一次 LLM 调用中,没有返回 function_call,而是直接输出了格式正确但数据全假的回答:"潜力分 75 分,中等潜力,建议优化标题"。content_potential_tool 根本没有被调用过。
我们在 Prompt 里加了强制指令"必须先调用工具获取数据",但小模型仍然有概率忽略。高并发场景下,即使 5% 的幻觉率,每天上万次请求就意味着几百次假数据。
理想流程 vs 实际翻车对比图
根因:在 ReactAgent 模式下,LLM 同时承担了"决策调度"和"内容生成"两个职责。 小模型容易被输出 Schema 的格式"带偏":它一看到最终输出应该长什么样,就直接照着格式编一个,跳过了中间的 Tool 调用。
结论:ReactAgent 不适用于小模型 + 高并发的工业落地场景。
解法:既然问题出在"LLM 职责过重",我们把职责拆开,采用 Planning + Execute + Summarize(PES) 的三阶段架构。
同样是"分析内容 A 的潜力分",PES架构的执行方式:
PES执行示意图
在此,我们需要强调一下ReAct和PES模式的核心差异:
- ReactAgent:LLM 既是"大脑"也是"调度器",每一步都要问 LLM"接下来干什么"。小模型容易在中间步骤犯错,LLM 要同时理解工具列表 + 当前状态 + 决策下一步,prompt 负担重,多轮循环增加不确定性和延迟。
- Planning + Execute + Summarize(PES):把"规划"和"执行"解耦。Planning 阶段 LLM 只拆任务,不关心工具怎么调;Execute 阶段框架按拓扑顺序执行,Tool 调用是确定性的;Summary 阶段 LLM 只做总结。
| 维度 | ReactAgent | Planning + Execute Agent |
|---|---|---|
| 控制权 | LLM 驱动循环,框架被动等待 | 框架控制流程,LLM… |