更可靠的主播助理:淘宝主播Agent的Harness工程实战
为什么主播 Agent 需要Harness?
OpenClaw、Claude Code、Hermes 这类智能体产品把 Harness Engineering 这个词带火了。它的核心主张很简单:模型能力是概率的、会漂移的、偶尔会失控的,真正让 Agent 可用、可控、可演化的,是模型外面那一层工程化的"骨架"(Harness):结构化的上下文、约束性的工具协议、生命周期的钩子、可恢复的状态、可观测的评估。但大部分公开的 Harness 实践,验证场景都是"个人助手"形态:单用户、本机运行、出了错自己看日志重跑一次就行,延迟和成本都不敏感。淘宝主播 Agent 不一样,它把 Harness 工程推到了一个极端苛刻的压力测试场:
1、操作即时生效且面向公众。Agent 一旦下发指令,错误无法撤回,代价是真金白银。
2、主播注意力极度稀缺。主播在镜头前要讲解、要互动、要看数据,根本没有余力去逐条核验 Agent 的每个动作,这意味着 Agent 的安全边界必须由工程兜底,而不是纯靠人工复核。
3、多话题高频交织。一场直播里,播前准备、中控指令、商品操作的指令交替出现,单轮对话可能同时涉及选品、组货、排序、控场,上下文极易污染和漂移。
4、长程、可中断、要恢复。一场直播动辄数小时,跨设备、跨端切换是常态,会话中断后必须能精确续连,不能让 Agent"失忆"。
一、主播Agent的 Harness 建设思想
1.1 Harness 的基础定义
在讲结构之前,先把"Harness"这个概念形式化:
全称 | 职责 | 它在对抗什么问题 |
这个定义的价值在于,它把"Agent 工程"从一堆零散的 Prompt 技巧和 if-else,升级成了一个有明确分工的系统架构。任何一个 Agent 项目,都可以拿这六个维度去对照,看自己缺了哪一块。
理解 Harness 还有一个更直观的视角,就是ATA里常说的"水流理论":人负责控制方向、设定边界与检查点,AI 负责在边界内自主推进。 而工程师真正要建设的,是那些"河道、闸门、护栏",也就是 Harness。模型再强,没有河道也会泛滥成灾;河道修好了,哪怕水流有波动,整体也是可控的。
1.2 主播 Agent 的 Harness 分层结构
基于六元组的抽象,我们把主播 Agent 的工程结构落成了一个分层架构。它的设计核心思想可以概括为一句话:业务方专注写 Skill,框架层兜住所有安全、状态、上下文与可观测的脏活。
第一,框架层与业务层的责任边界要划干净。 主播业务变化极快,今天要加播前规划、明天要改排品策略,如果每个新需求都要动框架,迭代根本跟不上。所以我们把"会变的"和"不变的"做了彻底拆分:框架层提供执行循环、上下文治理、安全防护、状态持久化、审计观测这些"不变的工程能力";业务方只需要以 Skill 的形式声明"我这个技能能干什么、风险等级多高、参数怎么校验",剩下的全部由框架兜底。这就是前面那句话的由来。
第二,安全是"纵深防御",不是单点。 直播场景容错率极低,任何单一防护层都可能被绕过,所以我们没有把宝押在某一道关卡上,而是建立了从 Prompt 边界到执行审计的五层纵深防御。
第三,长程任务要"可恢复、可观测、可干预"。 用三层 Checkpoint 机制保证任意时刻中断都能精确续连,用 DAG 全局规划替代 ReAct 的单步局部决策,让复杂的复合指令也能被拆解、编排和故障恢复。
1.3 工程载体:逻辑上的"统一工作区",
物理上的"分而治之"
业界 Harness Framework 喜欢用一个"文件系统 Workspace"作为 Agent 的唯一事实来源,这在单机、个人助手形态下非常优雅。但主播 Agent 要服务海量主播、要多副本水平扩容、要承载高并发的实时读写,单一文件系统这套假设并不成立。所以我们的取舍是:在逻辑视图上仍然向 Agent 暴露一个统一的"工作区"抽象,但在物理落地上,根据三类资产各自的读写特征,分别选择最合适的存储后端。 框架层负责把这三套异构存储拼装成一个对 Agent 透明的整体。
具体来说,主播 Agent 的三类核心资产分别存放在三个独立的基础设施上:
| GitLab |
记忆存 Holo。 长期记忆的数据模型是"向量 + 全文 + 标量"三位一体——以记忆节点表为例,每条记忆片段包含内容原文(支持全文检索)、内容向量(支持语义检索)、以及一份 JSONB 形态的元数据(记忆类型、目标实体、来源平台/设备、信任分、使用/采纳次数等标量,支持精确过滤)。借助 Holo 的向量索引做混合检索,Agent 既能"按语义找相关记忆",又能"按主播 ID/场次/平台精确过滤",这是后文记忆体系的存储底座。
技能存 GitLab。 Skill 本质是带 Schema 约束、能力域声明和校验规则的代码资产,天然适合用 Git 来维护:每个 Skill 的能力声明、参数 Schema、风险规则都纳入版本管理,新 Skill 上线前走预检平台校验和 Code Review,再灰度发布。
会话存 MySQL。 会话与运行时状态对一致性和点查性能要求最高,我们用 MySQL 的 agent_session表来承载,以 user_id + session_id + state_key 为索引按需点查加载。一个 state_key 对应一类状态(会话基础信息、场次信息、原始消息、运行时消息、卸载上下文、压缩事件、Plan 规划等), 在agent运行过程中按需加载。由于状态全部落在 MySQL 这类共享存储里,而非某个副本的本地内存,Agent 才能做到多副本对等部署、跨节点状态一致、服务不中断。
这种"逻辑统一、物理分治"的设计有两个直接收益。其一,检索密集的记忆走 Holo、版本化的技能走 GitLab、强一致的会话走 MySQL,没有用一套存储硬扛所有负载。其二,框架层把三套后端封装在统一的工作区抽象之后,Agent 的业务逻辑只面向"加载上下文、读写记忆、调用技能、持久化状态"这些语义接口,不感知底层是 Holo 还是 MySQL,存储演进也不会反向冲击业务代码。
二、Harness工程:主播场景的八项实战
这一节把底座改造和主播特色能力合在一起讲,因为它们共同构成了"让 Agent 在直播间不出事"的完整工程体系。
2.1 上下文工程:
让模型"看得清、记得住、不漂移"
上下文是 Agent 正确决策的基础。直播对话的特点是多话题交织、高频切换,单轮对话可能同时涉及播前、播中、播后多个场景,如果放任聊天历史无限增长,很快就会撞上两堵墙:上下文膨胀(Token 耗尽、延迟飙升、成本失控)和注意力漂移(关键信息淹没在流水账里,模型抓不住重点)。我们的上下文工程围绕三个手段展开。
手段一:分层压缩,而不是无脑截断。
直播会话采用了多层压缩策略:
常规情况下当Token超出压缩阈值时,走3层压缩:压缩历史工具调用 、摘要历史对话轮次、 压缩当前轮次消息;
当对话超过 N 轮触发 Session 级话题分段,把多轮对话压缩为结构化摘要,并打上场景标签(pre-live / on-live / post-live等),支持后续按场景聚合检索。这样既控制了体积,又保留了可回溯的结构。
手段二:直播间相关状态数据用 Reducer 模式更新,而不是把工具结果一股脑塞进历史。
这是主播 Agent 上下文工程里最值得强调的一个设计。传统 Agent 的常见做法,是把每轮工具调用的完整 JSON 结果直接追加到聊天历史里,让 LLM 自己从一长串历史消息中"读懂"当前状态。这带来三个严重问题:
状态模糊:LLM 要从 20 轮对话里自己推断"现在讲的是哪个商品、价格改成了多少",极易出错。
上下文膨胀:每次工具返回的完整 JSON 都进历史,Token 快速耗尽。
不可回放:出了问题无法精确复现某一步的状态。
借鉴前端状态管理的 Reducer 思想做了职责分离:LLM 只负责决策(产生 Action),Reducer 函数负责状态变更(纯函数、确定性)。 每轮对话前,把最新的结构化 State 序列化后通过 system-hint 注入,替代冗长的系统提示词。这样模型每一轮看到的都是一份干净、确定、最新的状态快照——"当前商品 SKU、当前价格、当前库存、本场目标"一目了然,而不是让它在历史里大海捞针。
手段三:大上下文卸载。
对于体量很大但不必时刻在场的内容(比如完整的商品列表、长篇的历史数据、用户上传的大文件),进行外存储卸载:大结果直接卸载到oss/tair上(路径id + 预览),数据消费时:
需提取相关数据,上下文中读取fileKey,沙箱执行shell命令过滤文本获取
只需要摘要,摘要从工具输出中返回
2.2 工具调用:能力边界、强约束与错误恢复
工具调用(Tool Registry)解决的是"Agent 能做什么、不能做什么、做错了怎么反馈"。主播场景对工具调用的可靠性要求极高,我们在三个层面做了强化。
1、能力边界声明:每个 Skill 注册时都要声明自己的能力范围和限制,Agent 调用前会校验请求是否落在 Skill 的能力域内;新 Skill 上线前还要通过预检平台,验证是否满足其定位声明。这从源头上避免了"Agent 越权调用本不该它碰的工具"。
2、Schema 强约束 + 幂等设计:所有工具签名和决策输出都通过 JSON Schema 约束,在结构层面杜绝非法参数。更关键的是幂等性:任何有副作用的写操作(改价、切品、发券)都必须携带幂等键(UUID),框架层在执行前做去重校验。框架层维护一个幂等键缓存,这样即使网络重试或 Agent 重新规划导致同一个指令被发了两次,也绝不会出现"双切品""双改价"这种灾难性后果。
3、结构化错误码 + 自动修复:工…