Harness 与 Agent 工程 · AI研发与测试工程 · 2026-08-28

Agent 终章(Harness 成本篇):一次百炼账单降低 88% 实战

AI Agent 成本爆炸?本文实战教你优化 Token 使用,一轮会话费用直降90%,账单立省88%! 核心内容:

  1. Token 消耗的核心原因(循环、历史全量重发、工具结果堆叠)
  2. 优化方案的实践与依据(多方案借鉴 + 百炼 qwen3.7-max 实战)
  3. 优化效果数据(缓存命中率提升及费用降低至原十分之一)

AI 编码半小时就可以完成一个 agent,但是一个没做过任何优化的 agent,跑一轮就是几十 M token,月底一看,费用爆炸。眼下,token 的使用已经进入精细化时代。目前个人用 token 不少公司已经开始设限,下一步大概率是开始梳理各类 agent ,在 agent 逐渐同质化下最后就是胜者为王,谁用最少的钱跑出最好效果。因此,优化 token 不是锦上添花,是 agent 能不能活下去的前提。

本文借鉴 oh-my-pi(token优化激进派)、Codex CLI、Grok Build 与 Anthropic Agent 工程笔记,结合百炼 qwen3.7-max 生产实践而成。

最后的效果:隐式缓存命中率从 33% 拉到 80%,显式缓存加权命中近九成,一轮 20 次的会话,输入费用降到原来的十分之一。

任何优化都得有依据,本文依旧如此。因此开始之前需要对齐两件事:token 花在了哪里,以及怎么量。

01

第一步:为什么几个字能撬动几十 M Token一次 prompt 通常发给 agent 的往往只有几个字——“帮我看下这个应用为什么报错”。实际上,这几个字只是“冰山露出水面”的那一角,水面下才是大头:工作守则(system prompt)、几十个工具的 schema、每一轮的对话历史、工具查回来的结果。以我们做的故障诊断、成本分析 agent 为例,一个模糊的需求,agent 会铺开多个维度找线索,再拿着线索查根因,一来一回就是 30-40 轮,烧掉几十 M token。同时,由于模型没有记忆,要让它记得上一轮查了什么,唯一的笨办法就是把之前的内容原样再发一遍;第一次搜索返回 8K token,下一轮就得把这 8K 当输入带上。于是水面下越滚越大:循环每多转一圈,历史和工具结果就再叠一层。

几个字撬动几十 M token,其实就三件事:循环反复跑、历史每轮全量重发、工具结果不断往上下文里堆。

下面用三轮对话示意图:

T1① 20k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌┐ T1② 29k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌░░▒▒▒▒▒▒▒┐ T2① 31k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌░░░░▒▒▒▒▒▒▒┐ T2② 39k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌░░░░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒┐ T3① 41k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌░░░░░░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒┐ T3② 50k ┌██████▓▓▓▄▄▄▄▌▌▌▌▌▌▌░░░░░░░░▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒┐ 0 10k 20k 30k 40k 50k █ 工作守则 ▓ skills 目录 ▄ 常驻工具 schema ▌ MCP 工具 schema ░ Asst 历史 ▒ Tool results Σ 209.4k(用户输入仅 0.3k;█▓▄▌ 固定前缀 ×6 = 120k,占 57%)

02

第二步:建立度量标准优化需要验收标准,否则就没有数据支撑。我们通过三条链路交叉验证:

1、 自研。通过采集每次 LLM API 返回的多个 Token 字段,同时写入本地。

cache_hit_rate = cached_tokens / prompt_tokens,接口未返回 usage 时记为空而非 0。cache_mode 从响应推断:有 cache_type: "ephemeral" 为 显示缓存,有 cached_tokens 无 cache_type 为 隐式缓存

2、自建Langfuse。使用 Langfuse sdk 进行统计:同一次调用上报为一条 Generation(一个 Agent 任务 = 一条 Trace,Subagent 独立 Trace 通过 parent_task_id 跳回父级)。usage_details 按 OpenAI completion schema 拆分,服务端自动扣缓存计费;并且走的是异步队列,不阻塞主 loop。

3、自建评测 Agent。任务结束后,先从工具轨迹中标记重复调用、连续失败等异常,再由轻量模型从相关性、工具效率、重复操作、错误恢复和完整性五个维度评分。低分或异常任务会自动沉淀诊断包,作为后续优化 Prompt、工具和 Agent Loop 的样本,形成持续改进闭环。

质量是成本优化的基础,不能因为控制成本就降低质量。6 月与 7 月的总分基本持平;7 月又叠加了钉钉诊断任务大规模接入和优化的一些边界问题在上线后才发现,因此总分被前半月低分拉低;最后完整落地是 8 月份。

有了尺子,下一步就是找到下刀的位置。一次 agent loop 的请求生命周期里,我们切了六刀:

03

少发:缩小每轮请求的输入体积

3.1 少发正确的过时的废话,随着模型进化 System Prompt

半年前,我们的 System Prompt 里一定会有这类内容:“你是一个 ReACT 循环的 Agent,每轮先观察、再思考、再执行工具,拿到结果后继续推理……”,有的版本还会附上完整的工具调用协议说明、错误重试策略、甚至 few-shot 示例来「教」模型怎么当 Agent。

这些在早期的确很有用,但现在最新的模型已经在海量 agent trace、工具调用日志和开源框架文档上训练过,ReACT 循环、tool_use 格式、多步规划这些范式早已内化。我们最初这类「教学文本」约占 1.2 K Token,删除后模型的工具调用准确率和任务完成率观测没有任何下降,但每轮请求少了这些部分,这部分乘以量级还是一个很大的 token 消耗量。

3.2 System prompt 每轮重建,不写进历史

✗ 写进历史(反例) ✓ 每轮重建(正解) ════════════════ ══════════════════ Turn 1 Turn 2 Turn 3 Turn 1 Turn 2 Turn 3 ┌─────┐ ┌───────┐ ┌───────┐ ┌─────┐ ┌─────┐ ┌─────┐ │█sys │ │█sys │ │█sys │ │█sys │ │█sys │ │█sys │ │ u1 │ │u1 a1 │ │u1 a1 │ │ u1 │ │u1 a1│ │u1 a1│ └─────┘ │█sys │ │█sys │ └─────┘ │ u2 │ │u2 a2│ │ u2 │ │u2 a2 │ └─────┘ │ u3 │ └───────┘ │█sys │ └─────┘ │ u3 │ ×1 ×1 ×1 └───────┘ sys ×1 ×2 ×3 ─────────────────────────────────────────────────────────────────── 每轮拼装:[sys 当场构建] + [u1 a1 u2 a2 … 历史] + [u3 当前] 不存历史 ×1 只存 user/assistant sys 永远 × 1

System Prompt 往往会占用 context 5%-%10(200K context window),如果每轮都写进去就会浪费占用很大的 context window。因为这个优化是收益最高的,特别是 OpenAI 接口原生不支持 system 请求字段,全靠 agent框架和 agent 工程师自己处理。Anthropic 原生支持system 字段,只要将 System Prompt 放在 system 字段不会出现这个情况了

3.3 工具 schema 按需读取(Deferred Tools)

工具 schema 是每轮请求的固定token消耗。常驻工具加上多个 MCP server,完整工具占用 context window可能比 system prompt 还大,而模型并不会每次都会去调用 MCP。Anthropic 和 OpenAI 已原生支持这套语义。核心不变量:tools 数组每次请求字节相同(stub 只占 name),前缀缓存永远命中;完整 schema 经 tool_search 以 tool result 走 message 层注入,不碰 tools 数组。详见 Claude Code 官方博客。

但是百炼不支持。实测 Chat Completions 和 Responses API 均静默忽略 defer_loading、tool_search 字段(HTTP 200,工具按全量 schema 正常调用,无搜索流程)。因此我们参考 Claude Code 的思路,在 harness 层自行实现了等价机制:把低频工具的完整 schema 从每轮请求中移除,只在真正需要时加载。

我们把所有工具分成两个池子:

┌──────────────────────────┐ ┌──────────────────────────┐ │ Always-loaded(常驻池) │ │ Deferred(延迟池) │ │ │ │ │ │ Read / Edit / Bash │ │ 所有 MCP 工具 │ │ Grep / Glob / Write │ │ WebSearch / WebFetch │ │ ToolSearch │ │ DB 系列 / AppSkill … │ │ CallDeferredTool … │ │ │ │ │ │ │ │ 每轮携带完整 schema │ │ 只留一行目录在 prompt │ └──────────────────────────┘ └──────────────────────────┘ 每次请求的 tools 数组(固定) system prompt 内(跨 reveal 稳定)

延迟池在 system prompt 中保留按名称排序的完整目录,最多 50 行,每行“工具名 — 一句话提示”。目录列出所有延迟工具,不论是否已 revealed;reveal 不从目录删除条目。激活路径有两条:

路径 A:模型主动搜索 路径 B:Skill 激活自动扫描 ═══════════════════ ═══════════════════════════ 模型看到能力目录 ActivateSkill返回skill 正文 │ │ ToolSearch(query) 逐词匹配正文中的deferred工具名 │ │ 返回 reveal payload ───────┬──────── 命中的工具名 (name+schema+guidance) │ reveal payload 追加到history尾部,ToolRevealRecord 持久化授权 │ 同一 AgentLoop 即可调用 ▼ CallDeferredTool(真实工具名, 参数),代理解析后走真实工具的完整执行链

对缓存的影响在于,工具召回不动前面任何内容:system prompt 不变、tools 数组不变,新工具的schema 只是追加在对话末尾。前面没变,缓存照常命中;同一个工具再搜一次,只回一句“之前已经加载”,不会重复塞入 schema。

效果:目录只有几十行文本,相比几十个完整 工具schema 动辄上万 token 的固定开销,不常用工具不再每轮占位。

3.4 常驻工具要标准化,工具的schema 也要精简

如同 System Prompt 优化一下,常见的工具无法 deferred(Read、Edit、Grep、Glob、Write、Bash 等工具),但是只要按照 claude code 工具定义,入参和出参和 claude code 保持一致,就可以尽可能的精简它的 schema。因为 claude code 作为最流行(没有之一)的coding 工具,它的工具定义,调用,出入参早就被深深刻入的LLM 的训练中,只要模仿它,就能很大程度节约token,同时还能避免LLM 对工具的推理以及避免工具调用失败(这是最便捷和最高效的方式,如果自定义一个同名Read,然后出入参不一致,很有可能LLM第一次基会出错,这样浪费了 Agent Loop轮次,时间,又浪费token)。

3.5 Skills 去重:同一份只激活一次

一份 skill 正文动辄几千 token,如果连续 5 轮都激活同一个 skill,却每次都把全文重新塞进请求,就等于让同一份内容占用 5 次 token。重复得多,也不代表模型记得更牢。《Lost in the Middle》发现,模型利用长上下文中的信息存在明显的位置偏差:相关信息放在开头或结尾时效果更好,落在中间时表现会显著下降。这里更准确的说法不是“中间文字的注意力更低”,而是模型对中间信息的利用效果更差。反复塞入同一段长文本,既浪费 token,也不能保证效果更好。

所以我们让 skill 全文只注入一次,固定在历史中作为锚点;后续无论手动还是自动再次激活,都只在上下文尾部补一条短提醒,告诉模型上文中的 skill 仍然生效。

激活有两条路径,共享同一个单份不变式,同一 skill 的全文在任意一次请求的 messages 中至多出现一次:

通道 A:用户 /skill-name(metadata) 通道 B:LLM 调 ActivateSkill(tool) ═══════════════════════════════════ ══════════════════════════════════════ 首次 全文注入该条 user msg(锚点) 首次 返回全文,tool result 为锚点 重复 不重注入,仅附一行提示 重复 幂等短回执 ~150 字符 "指令已在上文,本轮仍生效" "指令已在上文,本轮仍生效"锚点固定 → 成为稳定前缀 → 后续轮次缓存命中 ×10%

两条路径同时存在时,按照如下规则执行:谁先激活谁持有全文,后来的拿短回执;并且激活集合每轮从历史记录推导,不依赖内存状态,所以重启后结果一致。

Token 收益很直接。以前同一个 skill 激活 5 次,几千 token 的正文就会被塞进历史 5 遍;现在只塞第一遍,后面每次只补一句约 150 字符的提醒。按 5 次计算,光这部分就能少写接近 80%。

3.6 重复 Read 去重

模型在一轮 agent loop 里经常对同一个文件发起多次 Read,和上面的 skills 一样,如果重复读同一份,放在历史 message 中又是占用 token,浪费 token。 于是我们维护一个已读路径集合(通过文件系统的 mtime),在每批工具执行前检查:路径已读过、或同批次内重复 → 不执行,直接返回文件未改变,重复度。如果有改变,mtime 就会变,自然而然可以使用 read 工具。 同时及时真的想去读文件还是有很多 shell 命令,现在 LLM 都很聪明,它会用 sed,cat 等 shell 命令 读取文件。

同一 run 内(一条用户消息触发的 model↔tool 循环) ═══════════════════════════════════════════════════ Turn 1 Read("/src/main.rs") → 正常返回全文(8000 字符) 路径记入已读集合 Turn 3 Read("/src/main.rs") → 路径已存在,跳过 返回: "Skipped duplicate readin the same model turn." Turn 5 Read("/src/main.rs", offset=100) → 同样跳过(不看 offset) wire 中:一份全文 + 两条 ~50 字符错误,而非三份全文。。

3.7 MCP 迁往 CLI + Skills:把 schema 从根上干掉

Deferred tools 解决了「MCP schema 不每轮占位」,但 MCP 形态本身还有结构性成本:即使延迟加载,目录里每个工具仍要留一行条目,reveal 时完整 schema 至少付一次费;MCP 工具结果还是模型没法过滤的 JSON 块,返回多大就全量进历史。更根本的问题是:一个 MCP server 等于在运行时教模型一套新的接口格式,这份教学成本每次都按 token 付。

我们之前踩过一个坑。半年前,我们基于开源的 MongoDB MCP Server 封过一个查 Mongo 成本数据的能力,用途很窄,我们只注册了数据库类的 24 个工具,但是光这 24 个工具的描述文本就近一万字符、76 处参数注解,每轮两三千 token 的固定开销,而这只是一个 MCP server。能力越窄、server 越通用,浪费的比例就越夸张。

我们的做法是把这类能力迁到 CLI + Skills。回看开头的示意图,MCP 工具 schema 在固定前缀里占了一整块,迁移之后这块缩成 Bash 一个常驻工具:

MCP 形态 CLI + Skills 形态 ════════════════ ══════════════════════════ tools 数组: Bash + 几十个 MCP schema tools 数组: Bash + 常驻工具 ← 字节级不变 system: 能力目录 system: skills 目录(CLI 名 + 一行触发提示) 用法: reveal 完整 schema → 调工具 用法: ActivateSkill 加载正文 → 一行 bash 结果: JSON 全量进历史 结果: head/grep/jq 过滤,只要需要的行进历史

能力侧的 schema 开销归零,这是第 4 节「常驻工具要标准化」逻辑的延伸:模型天然擅长 CLI。预训练语料里有海量 Unix 材料,man page、--help 输出、shell 脚本,模型见过的 find \| grep \| xargs 远比任何一次 tools/call 多,怎么调、参数怎么拼、失败了怎么恢复,都是权重里现成的直觉,不用再放进请求。Unix 哲学也在降门槛:工具名即语义,不读 schema 也能猜个八九不离十;接口统一为文本流,一行管道就能拼出工作流;遇到陌生 CLI,跑一下 --help 自己就能摸索。自定义 MCP 恰恰相反,模型每次都要靠 schema 现学:一篇 arXiv 研究扫描了 103 个 MCP server 的 856 个工具,97.1% 的描述至少带一种质量坏味道,56% 连用途都没说清。

Skills 本身也是渐进式披露:触发条件、常用命令组合、避坑事项写进 skill 正文,按需加载,并复用第 5 节的全文去重机制。一个 CLI + 一份 skill = 一项完整能力:固定 schema 几乎为零,知识按需进入。还有两个附带收益。

一是输出可通过 shell 过滤。MCP 结果不可过滤、全量进历史,CLI 输出是文本流,head/grep/jq 只取需要的行——这是回传路径上的「少发」。

二是对缓存友好。MCP server 增删会合法地改变 tools 集合、炸掉前缀;CLI 形态下新增多少项能力,请求都不变一个字节。

常见对cli质疑声是 CLI 散落在每个终端,更新比集中部署的 MCP server 麻烦。其实恰恰相反:

  1. 更新就是一条命令:cli update all 一次全升,还可以在服务端设置灰度名单。反观 MCP 集中式升级风险更大,新版本一发布所有客户端同时生效,发坏了没有缓冲地带。
  2. MCP更新反而有“历史对话污染”的包袱:调用会以带工具名和 JSON 参数的 tool_use 记录沉进历史,server 升级…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026082886592.html