本文介绍了淘宝主播Agent的Harness工程实战,旨在通过构建模型外层的工程化“骨架”解决大模型在高风险、高并发直播场景中不可控、易漂移的问题。文章首先定义了由执行循环、工具注册、上下文管理、状态存储、生命周期钩子和评估接口组成的Harness六元组,并确立了框架层兜底安全与状态、业务层专注技能开发的分层架构,采用MySQL、Hologres和GitLab分别存储会话、记忆和技能以实现逻辑统一与物理分治。在具体实践中,通过分层压缩与Reducer模式优化上下文,利用Schema强约束、幂等设计及五层纵深防御体系保障工具调用安全,引入沙箱隔离执行风险,并以DAG全局规划替代ReAct单步决策以提升长程任务的恢复性与效率。此外,文章详细阐述了基于会话、事实、行为三层结构的记忆体系,通过记忆对账机制与信任度演化算法,实现了Agent对主播偏好的精准理解与自适应输出,最终将不确定的模型能力转化为可用、可控、可演化的工业级产品。
为什么主播 Agent 需要Harness? OpenClaw、Claude Code、Hermes 这类智能体产品把 Harness Engineering 这个词带火了。它的核心主张很简单:模型能力是概率的、会漂移的、偶尔会失控的,真正让 Agent 可用、可控、可演化的,是模型外面那一层工程化的"骨架"(Harness):结构化的上下文、约束性的工具协议、生命周期的钩子、可恢复的状态、可观测的评估。但大部分公开的 Harness 实践,验证场景都是"个人助手"形态:单用户、本机运行、出了错自己看日志重跑一次就行,延迟和成本都不敏感。淘宝主播 Agent 不一样,它把 Harness 工程推到了一个极端苛刻的压力测试场: 1、操作即时生效且面向公众。Agent 一旦下发指令,错误无法撤回,代价是真金白银。 2、主播注意力极度稀缺。主播在镜头前要讲解、要互动、要看数据,根本没有余力去逐条核验 Agent 的每个动作,这意味着 Agent 的安全边界必须由工程兜底,而不是纯靠人工复核。 3、多话题高频交织。一场直播里,播前准备、中控指令、商品操作的指令交替出现,单轮对话可能同时涉及选品、组货、排序、控场,上下文极易污染和漂移。 4、长程、可中断、要恢复。一场直播动辄数小时,跨设备、跨端切换是常态,会话中断后必须能精确续连,不能让 Agent"失忆"。
主播Agent的 Harness 建设思想 ## ## ### ▐Harness 的基础定义 在讲结构之前,先把"Harness"这个概念形式化:
这个定义的价值在于,它把"Agent 工程"从一堆零散的 Prompt 技巧和 if-else,升级成了一个有明确分工的系统架构。任何一个 Agent 项目,都可以拿这六个维度去对照,看自己缺了哪一块。 理解 Harness 还有一个更直观的视角,就是ATA里常说的"水流理论":人负责控制方向、设定边界与检查点,AI 负责在边界内自主推进。 而工程师真正要建设的,是那些"河道、闸门、护栏",也就是 Harness。模型再强,没有河道也会泛滥成灾;河道修好了,哪怕水流有波动,整体也是可控的。 ## ## ### ▐主播 Agent 的 Harness 分层结构 基于六元组的抽象,我们把主播 Agent 的工程结构落成了一个分层架构。它的设计核心思想可以概括为一句话:业务方专注写 Skill,框架层兜住所有安全、状态、上下文与可观测的脏活。 第一,框架层与业务层的责任边界要划干净。 主播业务变化极快,今天要加播前规划、明天要改排品策略,如果每个新需求都要动框架,迭代根本跟不上。所以我们把"会变的"和"不变的"做了彻底拆分:框架层提供执行循环、上下文治理、安全防护、状态持久化、审计观测这些"不变的工程能力";业务方只需要以 Skill 的形式声明"我这个技能能干什么、风险等级多高、参数怎么校验",剩下的全部由框架兜底。这就是前面那句话的由来。 第二,安全是"纵深防御",不是单点。 直播场景容错率极低,任何单一防护层都可能被绕过,所以我们没有把宝押在某一道关卡上,而是建立了从 Prompt 边界到执行审计的五层纵深防御。 第三,长程任务要"可恢复、可观测、可干预"。 用三层 Checkpoint 机制保证任意时刻中断都能精确续连,用 DAG 全局规划替代 ReAct 的单步局部决策,让复杂的复合指令也能被拆解、编排和故障恢复。 ## ## ### ▐工程载体:逻辑上的"统一工作区",物理上的"分而治之" 业界 Harness Framework 喜欢用一个"文件系统 Workspace"作为 Agent 的唯一事实来源,这在单机、个人助手形态下非常优雅。但主播 Agent 要服务海量主播、要多副本水平扩容、要承载高并发的实时读写,单一文件系统这套假设并不成立。所以我们的取舍是:在逻辑视图上仍然向 Agent 暴露一个统一的"工作区"抽象,但在物理落地上,根据三类资产各自的读写特征,分别选择最合适的存储后端。 框架层负责把这三套异构存储拼装成一个对 Agent 透明的整体。
具体来说,主播 Agent 的三类核心资产分别存放在三个独立的基础设施上:
记忆存 Holo。 长期记忆的数据模型是"向量 + 全文 + 标量"三位一体——以记忆节点表为例,每条记忆片段包含内容原文(支持全文检索)、内容向量(支持语义检索)、以及一份 JSONB 形态的元数据(记忆类型、目标实体、来源平台/设备、信任分、使用/采纳次数等标量,支持精确过滤)。借助 Holo 的向量索引做混合检索,Agent 既能"按语义找相关记忆",又能"按主播 ID/场次/平台精确过滤",这是后文记忆体系的存储底座。 技能存 GitLab。 Skill 本质是带 Schema 约束、能力域声明和校验规则的代码资产,天然适合用 Git 来维护:每个 Skill 的能力声明、参数 Schema、风险规则都纳入版本管理,新 Skill 上线前走预检平台校验和 Code Review,再灰度发布。 会话存 MySQL。 会话与运行时状态对一致性和点查性能要求最高,我们用 MySQL 的 agent_session表来承载,以 user_id + session_id + state_key 为索引按需点查加载。一个 state_key 对应一类状态(会话基础信息、场次信息、原始消息、运行时消息、卸载上下文、压缩事件、Plan 规划等), 在agent运行过程中按需加载。由于状态全部落在 MySQL 这类共享存储里,而非某个副本的本地内存,Agent 才能做到多副本对等部署、跨节点状态一致、服务不中断。 这种"逻辑统一、物理分治"的设计有两个直接收益。其一,检索密集的记忆走 Holo、版本化的技能走 GitLab、强一致的会话走 MySQL,没有用一套存储硬扛所有负载。其二,框架层把三套后端封装在统一的工作区抽象之后,Agent 的业务逻辑只面向"加载上下文、读写记忆、调用技能、持久化状态"这些语义接口,不感知底层是 Holo 还是 MySQL,存储演进也不会反向冲击业务代码。 ## ##
Harness工程:主播场景的八项实战 这一节把底座改造和主播特色能力合在一起讲,因为它们共同构成了"让 Agent 在直播间不出事"的完整工程体系。
## ### ▐上下文工程:让模型"看得清、记得住、不漂移" 上下文是 Agent 正确决策的基础。直播对话的特点是多话题交织、高频切换,单轮对话可能同时涉及播前、播中、播后多个场景,如果放任聊天历史无限增长,很快就会撞上两堵墙:上下文膨胀(Token 耗尽、延迟飙升、成本失控)和注意力漂移(关键信息淹没在流水账里,模型抓不住重点)。我们的上下文工程围绕三个手段展开。 手段一:分层压缩,而不是无脑截断。 直播会话采用了多层压缩策略: 1. 常规情况下当Token超出压缩阈值时,走3层压缩:压缩历史工具调用 、摘要历史对话轮次、 压缩当前轮次消息; 2. 当对话超过 N 轮触发 Session 级话题分段,把多轮对话压缩为结构化摘要,并打上场景标签(pre-live / on-live / post-live等),支持后续按场景聚合检索。这样既控制了体积,又保留了可回溯的结构。 手段二:直播间相关状态数据用 Reducer 模式更新,而不是把工具结果一股脑塞进历史。 这是主播 Agent 上下文工程里最值得强调的一个设计。传统 Agent 的常见做法,是把每轮工具调用的完整 JSON 结果直接追加到聊天历史里,让 LLM 自己从一长串历史消息中"读懂"当前状态。这带来三个严重问题: 1. 状态模糊:LLM 要从 20 轮对话里自己推断"现在讲的是哪个商品、价格改成了多少",极易出错。 2. 上下文膨胀:每次工具返回的完整 JSON 都进历史,Token 快速耗尽。 3. 不可回放:出了问题无法精确复现某一步的状态。 借鉴前端状态管理的 Reducer 思想做了职责分离:LLM 只负责决策(产生 Action),Reducer 函数负责状态变更(纯函数、确定性)。 每轮对话前,把最新的结构化 State 序列化后通过 system-hint 注入,替代冗长的系统提示词。这样模型每一轮看到的都是一份干净、确定、最新的状态快照——"当前商品 SKU、当前价格、当前库存、本场目标"一目了然,而不是让它在历史里大海捞针。
手段三:大上下文卸载。 对于体量很大但不必时刻在场…