Harness 与 Agent 工程 · AI研发与测试工程 · 2026-08-26

Agent 场景下 Token 成本优化的实战技巧

Agent落地Token成本飙升?6个实战技巧从基础到架构优化,立省50%-90%!核心内容:1. Token基础认知:中英文差异及成本构成解析2. 6个Token节省手段:简单/高级方法及效果对比3. 关键优化技巧:前缀匹配、模型分层路由等实战策略

在 Agent 落地的过程中,我们很快会遇到一个现实问题:效果还没跑出来,账单先跑出来了。 本文基于我们在agent项目中的真实实践,从基础认知到架构优化,系统梳理 6 个 Token 节省手段。简单方法立省 50%,高级方法降幅可达 90%+。

先搞懂 Token:你的钱到底花在哪了

Token 是 LLM 处理文本的最小单位,不是字数,也不是单词数。LLM 不直接处理文字,而是先把文本切分成 Token,再转成向量进行计算。

中文和英文的 Token 效率差异较大,同样的信息量,中英文消耗的 Token 天然不同。

原因有三:

    1. BPE 合并频率低:中文在训练数据中占比小,常用字符组合被合并的次数更少,分词后 Token 数更多
    1. UTF-8 编码成本:一个汉字占 3 字节,英文只占 1 字节,字节层面就是 3 倍差距
    1. 无词间分隔符:英文有空格帮助分词,中文没有,分词器更难"猜"出边界

计费公式:四类 Token 构成总成本

Agent 的计费由四类 Token 构成,理解它们是优化的前提:

Token类型 说明 价格水平
输入Token 用户发送给模型的文本消耗 基准价
输出Token 模型生成的回复文本消耗 最贵(通常是输入的3~6倍)
缓存命中Token 命中Prompt缓存时的优惠计费 最低(可低至输入的 10%)
缓存创建Token 首次创建缓存时的正常计费 与输入持平

Token计费

总费用 = 输入Token × 输入单价 + 输出Token × 输出单价 + 缓存命中Token × 缓存单价 + 缓存创建Token x 缓存创建单价

核心结论:输出 Token 单价最贵且无法缓存,通常是成本占比最高的部分;缓存命中是最便宜的,要想尽一切办法让更多 Token 走缓存。

简单优化:三招立省 50%,零架构改造

1.前缀匹配

LLM 的 Prompt 缓存采用前缀匹配机制:只有当本次请求的前 N 个 Token 与之前某次完全一致时,缓存才能命中。

这听起来简单,但很多团队的第一版 Agent 都踩了这个坑,把用户数据放在最前面,固定内容放在后面,结果缓存完全失效。

正确的 Token 顺序:

System Prompt(固定)→ 工具描述(固定)→ 历史对话(半固定)→ 用户消息(变化)

错误的顺序:

用户消息(变化)→ System Prompt(固定)→ 工具描述(固定)

顺序一颠倒,哪怕有几千个 Token 的固定内容,缓存一个都命中不了。反过来,把固定内容全部前置,缓存命中率能轻松做到 70%~90%,相当于这部分 Token 直接打一折。

2.模型分层路由:不是所有任务都需要旗舰模型

这是性价比最高的优化手段,没有之一。 核心思路:根据任务复杂度匹配不同价位的模型。 简单任务用便宜模型,复杂任务才上旗舰模型。 在我们的判责 Agent 中:

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026082691856.html