在 Agent 落地的过程中,我们很快会遇到一个现实问题:效果还没跑出来,账单先跑出来了。 本文基于我们在agent项目中的真实实践,从基础认知到架构优化,系统梳理 6 个 Token 节省手段。简单方法立省 50%,高级方法降幅可达 90%+。
先搞懂 Token:你的钱到底花在哪了
Token 是 LLM 处理文本的最小单位,不是字数,也不是单词数。LLM 不直接处理文字,而是先把文本切分成 Token,再转成向量进行计算。
中文和英文的 Token 效率差异较大,同样的信息量,中英文消耗的 Token 天然不同。
原因有三:
-
- BPE 合并频率低:中文在训练数据中占比小,常用字符组合被合并的次数更少,分词后 Token 数更多
-
- UTF-8 编码成本:一个汉字占 3 字节,英文只占 1 字节,字节层面就是 3 倍差距
-
- 无词间分隔符:英文有空格帮助分词,中文没有,分词器更难"猜"出边界
计费公式:四类 Token 构成总成本
Agent 的计费由四类 Token 构成,理解它们是优化的前提:
| Token类型 | 说明 | 价格水平 |
|---|---|---|
| 输入Token | 用户发送给模型的文本消耗 | 基准价 |
| 输出Token | 模型生成的回复文本消耗 | 最贵(通常是输入的3~6倍) |
| 缓存命中Token | 命中Prompt缓存时的优惠计费 | 最低(可低至输入的 10%) |
| 缓存创建Token | 首次创建缓存时的正常计费 | 与输入持平 |
Token计费
总费用 = 输入Token × 输入单价 + 输出Token × 输出单价 + 缓存命中Token × 缓存单价 + 缓存创建Token x 缓存创建单价
核心结论:输出 Token 单价最贵且无法缓存,通常是成本占比最高的部分;缓存命中是最便宜的,要想尽一切办法让更多 Token 走缓存。
简单优化:三招立省 50%,零架构改造
1.前缀匹配
LLM 的 Prompt 缓存采用前缀匹配机制:只有当本次请求的前 N 个 Token 与之前某次完全一致时,缓存才能命中。
这听起来简单,但很多团队的第一版 Agent 都踩了这个坑,把用户数据放在最前面,固定内容放在后面,结果缓存完全失效。
正确的 Token 顺序:
System Prompt(固定)→ 工具描述(固定)→ 历史对话(半固定)→ 用户消息(变化)
错误的顺序:
用户消息(变化)→ System Prompt(固定)→ 工具描述(固定)
顺序一颠倒,哪怕有几千个 Token 的固定内容,缓存一个都命中不了。反过来,把固定内容全部前置,缓存命中率能轻松做到 70%~90%,相当于这部分 Token 直接打一折。
2.模型分层路由:不是所有任务都需要旗舰模型
这是性价比最高的优化手段,没有之一。 核心思路:根据任务复杂度匹配不同价位的模型。 简单任务用便宜模型,复杂任务才上旗舰模型。 在我们的判责 Agent 中:
- • 主 Agent:负责调用数据读取脚本、识别诉点、分发任务给子 Agent、生成判责报告——任务偏流程化,用 Qwen3.5 足够
- • 子 Agent:负责核心的逻辑推理和判责——任务复杂度高,用 Qwen3.7-plus 主 Agent 承担了大部分交互和流程…