腾讯云Agent Memory节省61% Token提升52%成功率的诀窍:Mermaid无限画布×上下文卸载
本文提出一种基于上下文卸载与结构化图表示的短期记忆压缩方案:通过将完整信息卸载至外部文件系统,同时利用 Mermaid 图语言将任务执行过程转化为可导航的结构化记忆,使完整信息保留于外部、关键状态以高密度形式留存于上下文。在超长Session实验中,该方案最高节省 61% Token,同时把超长Session任务的通过率从 33% 提升到 50%,相对提升52%。从实验结果可以看出,短期记忆压缩能力尤其适合办公提效、创作、研究和编程这类长任务和多任务场景,该能力已随 TencentDB Agent Memory 产品化节奏发布。
⭐Github仓库地址:https://github.com/Tencent/TencentDB-Agent-Memory。
引言:什么是“一语胜千言”?
我们每天都在做一件很厉害的事:用一句话概括一整段经历。
朋友问你:“昨天约会怎么样?”你不会从几点见面、点了什么菜开始复述,而是直接说一句:“挺灾难的,他全程都在聊前任。”对方立刻就懂了,甚至还能继续追问细节。这句话不仅是总结,更像一个“压缩包”——点开之后,里面有情绪、有判断、有故事。
但 Agent 还不会主动这样解析输入。
当它执行一个长任务时,会不断搜索、读文件、调用工具、修改代码。每一步都在产生大量信息——几千字、上万字。如果这些内容全部堆进上下文,结果往往是:Token 被迅速耗尽,模型被细节淹没,甚至逐渐偏离原本的目标。
问题不在于信息太多,而在于信息没有被“压缩成最可用的形式”。
所以我们做了一件事:让 Agent 也学会“一语胜千言”。
TencentDB Agent Memory 通过上下文卸载 + Mermaid 无限画布,把长任务过程转化为可管理的结构化记忆:完整信息被保留在外部,关键状态以高密度形式留在上下文中。在超长 Session 实验中,该方案最高节省 61.38% Token,同时把任务通过率最多提升 51.52%。这一能力也将随 TencentDB Agent Memory产品化及开源。
接下来,我们从最基础的问题开始:压缩,到底是怎么发生的?
一、压缩的艺术
1.1日常生活中的语言压缩
语言的一个基本能力,是把复杂经验压缩成可传播的符号。
从语言学角度看,词语本身就是一种压缩装置。一个词的表面形式很短,但它能够激活大量背景知识、情绪经验和社会共识。比如“家”并不只是一个居住空间,它还可能包含安全感、亲密关系、责任、归属感等复杂含义;“江湖”也不只是地理意义上的江与湖,而常常指向人情、规则、利益、风险和生存智慧。一个词之所以有力量,正是因为它能用很少的语言承载很厚的语义。
日常表达中,这种压缩更加明显。比如一个人说:
“这场饭局像一场大型狼人杀。”
这句话并没有详细描述饭局中每个人的表情、对话、试探和沉默,但听者往往能迅速理解其中的气氛:表面上大家在吃饭聊天,实际上彼此都在观察、隐藏、判断和博弈。“狼人杀”在这里不再只是一个游戏名称,而成为一个高度浓缩的场景符号。它把一整段复杂的人际互动,压缩成一个可以被快速理解的意象。
这些表达之所以成立,是因为语言压缩并不依赖字面信息的完整保留,而依赖语义结构的有效保留。人们在交流时真正需要的,往往不是所有细节,而是能够帮助理解和继续判断的关键结构:发生了什么、重点在哪里、关系如何变化、说话者对此如何评价。
因此,语言压缩可以理解为一个从“经验”到“符号”的映射过程:原始经验往往是连续、庞杂、充满噪音的;而语言会将其切分、筛选、抽象,并封装成较短的表达。好的表达不是信息更少,而是信息密度更高。它删除了不影响理解的枝节,却保留了能够支撑后续推理的核心语义。
这也是“一语胜千言”的真正含义:一句话并不是神奇地包含了全部细节,而是抓住了最能代表整体的结构,并把它折叠进一个短小、可传播、可展开的符号中。
1.2极致压缩:大模型能理解什么样的"符号"
那么,对拥有“世界通识知识”的大模型来说,什么是压缩?我们能把信息压缩到什么程度?
1.2.1压缩的本质:从稀疏到稠密
对大模型而言,"压缩"只有一个定义——用更少的 token 表达等量(或近似等量)的语义。本质上就是把稀疏信息提炼成稠密信息,减少上下文中的字数,同时尽量保持语义不变。
一次搜索返回 2000 tokens 的原文,其中真正有信息量的可能只有 80 tokens 的核心结论。剩下的 1920 tokens 是搜索引擎的 UI 碎片、广告、重复内容、格式标记。这些都是"稀疏"的部分。把它们去掉,只留下核心结论,就是最朴素的压缩。
但这还只是文本层面的压缩。更极致的压缩,是改变信息的表示形式本身。
1.2.2 大模型对“字 / 画 / 符号”的理解能力
大模型的一个被严重低估的能力是:它不仅能理解自然语言,还能高效理解“符号”。
考虑一个在prompt engineering很火的例子——MBTI 人格类型。当你告诉大模型"这个用户是 INTJ",仅仅四个字母,大模型就能立刻理解:
● 内向(I):偏好独处,深度思考
● 直觉(N):关注抽象模式和未来可能性
● 思考(T):决策基于逻辑而非情感
● 判断(J):偏好计划性和结构化
但这种压缩有一个前提:这个符号已经存在于模型的知识体系中。MBTI 是一种通用知识标签,在训练数据中大量出现,模型早已建立了“INTJ → 一整套语义”的映射关系。本质上,这是一种“记忆驱动”的压缩。
问题在于,这种压缩并不稳定。
一旦换成模型不熟悉的表达,比如团队内部的缩写、项目黑话,或者带有语境依赖的符号,理解就会迅速退化。就像人与人之间的“黑话”:在熟人之间可以高效沟通,但一旦脱离语境,就可能完全失效。甚至同一个符号,在不同文化或代际中也可能产生偏差——例如“😊”在不同平台中既可以表示友好,也可能被解读为敷衍或讽刺。
放到 Agent 场景中,这种问题会被放大:如果压缩依赖的是模型未见过的符号,想跨时间、跨agent的沟通就需要额外维护一套“符号对照表”来保证理解一致。这不仅增加系统复杂度,也使跨模型、跨时间的复用变得困难。
因此,并不是所有“短表达”都是有效压缩。
真正可用的压缩,不应该依赖模型“记住了什么符号”,而应该依赖模型“能够从符号中推理出什么结构”。
相比之下,结构化表示(如流程、关系、状态)具有更强的稳定性。它们不是把语义压缩进一个“标签”,而是把信息重组为一种可以被直接解析和推理的形式。因此,大模型往往能比自然语言更高效、稳定地理解结构化表达。
因此,如果我们希望对 Agent 的执行历史进行有效压缩,关键不在于发明更短的“词”,而在于利用一种既通用(包含在世界知识内)、又可推理的结构化符号系统。
1.2.3 符号设计的三条原则
经过多次实验,我们总结出三条设计原则:
原则一:符号必须是通用知识。
如果我们发明一套自定义的压缩编码(比如用 T1:HKU:FIN:462K 表示"港大金融硕士 46.2 万"),虽然极其紧凑,但:
● 不同的 LLM 无法理解它(没有在训练数据中见过)
● 同一个 LLM 在不同上下文中可能对它的理解也不一致
● 可适配性和灵活性很差
我们选择的符号载体必须是所有主流 LLM 都能在预训练阶段大量接触过的通用格式。
原则二:符号的生成不能过于复杂或孤立。
如果压缩过程涉及复杂的编码规则(比如多层嵌套的缩写体系),生成端和理解端之间很容易产生语义偏移——生成符号的 LLM 和后续理解符号的 LLM 对同一个符号的解读不一致。
原则三:表达要足够自由,让模型充分发挥能力。
如果符号系统的规则过于死板(比如"每个节点必须严格包含 5 个字段"),模型在生成时会被格式束缚,无法根据实际情况灵活调整表达。
做到以上三点,基本可以符合模型传递信息用符号压缩的工具属性需求。
二、Mermaid 无限画布:突破物理窗口的认知空间
“符号化压缩”可以把冗长的工具结果压缩成更短、更稠密、更容易被模型理解的符号。
但这只解决了一个问题:“如何压缩单条信息?”
在真实长任务里,Agent 面对的不是一条信息,而是几十次工具调用、多个搜索分支、反复修改的用户要求,以及不断变化的任务状态。
所以更重要的问题是:“当我们有 50 条压缩后的符号时,Agent 如何理解它们之间的关系?”
这就是“无限画布”要解决的问题。
2.1 从“压缩单条信息”到“组织任务结构”
一条 summary 可以很好地压缩一次工具调用。例如,原本80次,几千 tokens 的搜索结果,可以被压缩成一句话:“搜索了港大学费信息,并确认了项目页面中的 tuition 字段。”这对节省 token 很有帮助,但它仍然只是一个孤立符号。
当任务变长以后,我们可能得到很多类似的 summary:
{"summary": "搜索了港大学费"}
{"summary": "搜索了港中文学费"}
{"summary": "搜索了港科大学费"}
{"summary": "确认了三所学校的精确学费"}
{"summary": "生成了三校对比表"}
这些 summary 虽然比原始工具结果短很多,但它们仍然是线性的。Agent 可以知道“做过什么”,却不一定能立刻看出“三所学校的搜索其实是并行分支”,“精确学费确认依赖三所学校的数据”,“当前任务正在进入最终汇总阶段”。
所以,长任务压缩不能只停留在“把内容压短”,还要把压缩后的信息组织成结构。线性列表像日志,适合记录发生过什么;而图结构像地图,更适合告诉 Agent 现在在哪里、从哪里来、接下来往哪里走。
2.2什么是 Mermaid 图:一种模型可读写的符号化图语言
Mermaid 是一种用纯文本描述图结构的标记语言。
比如,我们可以用几行文本描述一个任务流程:
flowchart TD
A["搜索资料"] --> B["整理信息"]
B --> C["生成表格"]
这段文本可以被渲染成图,也可以直接被 LLM 阅读和修改。
所以 Mermaid 有几个很适合 Agent 的特点:
| 特点 | 说明 |
|---|---|
2.3 为什么 Mermaid 适合作为任务画布
Mermaid 的价值不只是“画图”,而是把离散 summary 组织成一张任务拓扑。普通 summary 表达的是“有哪些信息”,而 Mermaid 任务图表达的是“这些信息之间是什么关系”。
例如,三所学校学费整理任务如果只用 summary 表示,Agent 看到的是一串列表。但如果用 Mermaid 表示,结构会清楚很多:
模型可直接阅读的代码模式也相当简洁:
flowchart TD
A["搜索港大学费<br/>status: done"] --> D["精确学费确认<br/>status: done"]
B["搜索港中文学费<br/>status: done"] --> D
C["搜索港科大学费<br/>status: done"] --> D
D --> E["汇总对比表<br/>status: doing"]
这张图同时表达了任务结构、当前进度和后续方向。Agent 可以看到,三所学校的搜索都已经完成,它们共同指向“精确学费确认”,而当前正在进行的是“汇总对比表”。这比单纯的线性 summary 多了一层结构信息。
因此,Mermaid 不是把历史变成一段话,而是把历史变成一张可以继续执行的任务地图。它让 Agent 不只是回忆“发生了什么”,还可以判断“下一步应该做什么”。
Mermaid也符合前文提到的符号化设计原则:
原则一:符号必须是通用知识。
Mermaid 语法就是这样一种格式——它在 GitHub、技术文档、教程中广泛存在,所有主流大模型都能准确地读写它。
原则二:符号的生成不能过于复杂或孤立。
Mermaid 的优势在于:它的语法极其简单(节点 + 箭头 + 标签),生成和理解的认知负担几乎一样。一个 LLM 生成的 Mermaid 图,另一个 LLM(甚至同一个 LLM 在不同上下文中)都能准确理解,因为它的语义是由图的拓扑结构而非文本约定决定的。
原则三:表达要足够自由,让模型充分发挥能力。
Mermaid Flowchart 在这方面近乎完美——它允许任意形状的节点、任意方向的连线、任意长度的标签、任意的嵌套和分支。模型可以自主决定:
● 将连续的 5 个相似操作合并为一个宏观节点
● 为一个关键发现单独建立一个高亮节点
● 用虚线箭头表示弱关联,用实线表示强因果
● 用不同的节点形状区分不同类型的操作
2.4载体选型:Flowchart vs StateDiagram
确定使用 Mermaid 之后,还需要选择具体图类型。我们重点尝试了两种:Flowchart 和 StateDiagram。
两者的核心区别:
| 维度 | Flowchart(流程图) | StateDiagram(状态图) |
|---|---|---|
| 过程和结构 | 状态的单向变迁 | |
| 万能流程画布 | 红绿灯状态机 |
先说实验结论:Flowchart作为压缩载体的效果要比StateDiagram好15%左右。
StateDiagram 看起来很有吸引力,因为它天然适合表达状态迁移,比如 active、blocked、done 这样的状态。它像一个红绿灯状态机,强调对象从一个状态切换到另一个状态。如果任务本身是严格生命周期驱动的,比如订单状态、审批流、TCP 连接状态,StateDiagram 会非常合适。
但 Agent 的真实执行过程往往不是这种严格状态机。一个长任务里经常会出现并行搜索、多源汇总、失败回退、交叉引用和临时分支。Agent 并不是沿着一条单线从状态 A 走到状态 B,而是在一个开放空间里不断探索、验证、合并和修正。
比如同样是三所学校学费整理,如果用 StateDiagram 表示,很容易变成线性流程:
这张图能表达顺序,但会弱化一个关键信息:三所学校的搜索其实可以并行,而且“确认学费”依赖的是三所学校的数据汇总,而不是单纯依赖“搜索港科大”这一个前置状态。
如果换成 Flowchart,结构会自然很多:
Flowchart 更像一张万能白板。它可以表达并行分支、汇聚节点、回退路径、参考关系和多步依赖,也允许 LLM 自主决定哪些动作应该合并成一个节点,哪些复杂转折应该拆开表达。
在我们的实验中,Flowchart 相比 StateDiagram 效果约提升 15%。这说明在长任务上下文卸载场景中,Agent 更需要一张表达复杂依赖和多路径探索且足够自由的任务地图,而不只是一个状态机。
总的来说:StateDiagram 更适合描述有严格生命周期的对象,Flowchart 更适合描述 Agent 高度自由的探索式执行过程。Flowchat在“无限画布”的定位中更胜一筹。
2.5从图到画布:把离散摘要组织成任务拓扑符号化
到这里,Mermaid 已经不只是一个图语言,而是变成了一张任务画布。所谓画布,是指它可以持续承载一个任务的结构,并随着任务推进不断生长。
Agent 每完成一组相关动作,就可以在画布上增加或更新节点。例如:
Mermaid 画布可以把这些离散符号组织成拓扑结构:
flowchart TD
N1["搜索港大<br/>status: done<br/>→ 001-N2,N5"]
N2["搜索港中文<br/>status: done<br/>→ 001-N3"]
N3["搜索港科大<br/>status: done<br/>→ 001-N4"]
N4["精确学费确认<br/>status: done<br/>→ 001-N5,N6"]
N5["汇总对比表<br/>status: doing"]
N1 --> N4N2 --> N4N3 --> N4N4 --> N5
解析成图:
这张图用很少的 tokens 表达了三层信息:
| 信息类型 | 图中如何体现 |
|---|---|
这里的关键不是“图更好看”,而是图结构让 Agent 从线性扫描历史,变成结构化理解任务。线性列表适合记录,任务画布适合导航。
2.6不是无限上下文,而是无限可达空间
“无限画布”并不是说模型的上下文窗口真的变成了无限,也不是说 Agent 可以一次性读取无限多的信息。它更准确的含义是:Agent 的工作空间不再只等于当前上下文窗口,而是扩展成了一个可以持续创建、折叠、重新展开的外部认知空间(这里借鉴了上下文卸载和渐进式披露的思想)。
可以把上下文窗口想象成一张办公桌。桌子很方便,因为当前最重要的材料都在眼前;但桌子也有物理大小限制。任务一长,工具结果一多,桌面很快被铺满。传统做法要么把旧材料扔掉,要么把它们压缩成一段很短的总结。这样虽然省了空间,但也带来一个问题:当未来再次需要这些材料时,Agent 可能已经不知道它们在哪里,甚至不知道它们曾经存在过。
Mermaid 画布改变的是这个关系。它不要求所有信息都一直摊开放在上下文里,而是允许 Agent 把任务过程沉淀成一张外部白板:当前任务可以展开,暂时不用的任务可以折叠,未来需要时还可以重新打开。
所以,“无限”的重点不是“无限读取”,而是“无限可达”。Agent 不需要把所有历史细节都放进工作记忆里,只需要保留足够清晰的结构入口和路径:知道曾经做过什么、这些任务大概是什么状态、需要时应该从哪里重新展开。
举个很日常的例子:如果你在整理“香港三所大学商学院项目对比表”,中途又被用户要求去查“考研分数线”,再后来又切回“刚才那个港校表格”。如果没有外部画布,Agent 可能需要重新读一遍很长的历史对话,甚至重新搜索资料。但如果每个任务都有一张可以折叠和恢复的画布,Agent 就可以先找到“港校项目对比”这张旧画布,再从原来的任务结构继续往下做。
因此,无限画布的本质可以概括为一句话:
“不是让上下文窗口无限变大,而是让上下文之外的信息仍然可见、可定位、可恢复、可继续执行。”
具体到工程实现中,哪些信息保留在上下文里,哪些信息折叠到外部文件里,以及如何通过索引重新找回,会在后文的“TencentDB Agent Memory 短期记忆压缩方案”章节中展开。
2.7画布如何承载长任务:任务状态的外部化
长任务不是一串简单的聊天记录,而是一个持续变化的任务状态。Agent 在执行过程中会不断搜索、读取、判断、生成、修改和回退。如果只把这些过程保存在原始对话里,它们就会变成一条越来越长的线性历史。模型每次都要从头扫描,才能判断任务走到哪里、哪些信息已经确认、哪些路径已经失败。
Mermaid 画布的作用,就是把这条线性历史转化成外部化的任务状态。它不是任务结束后才生成的一张总结图,而是在任务执行过程中持续生长的工作白板。
比如,一个“整理香港高校学费”的任务,刚开始可能只有一个很简单的节点:
随着 Agent 开始搜索不同学校的信息,画布会逐渐长出来:
这张图表达的不是“每一次工具调用的流水账”,而是“这个任务正在如何展开”。它让 Agent 一眼看出:三所学校的信息已经分别搜索过了,现在正在做口径统一,下一步应该生成对比表。
当任务完成或暂时中断时,画布也不需要一直完整地留在上下文里。它可以从展开状态变成折叠状态,只保留一个较轻的任务轮廓(类似skill的metadata)。这个轮廓不负责承载全部细节,而是负责告诉 Agent:这里曾经有一个任务,它大概是什么,当前是什么状态,未来如果需要可以重新打开。
这个过程可以这样理解:
这里最重要的一点是:折叠不是丢弃。折叠只是把任务从“正在执行的展开态”转换为“可以恢复的压缩态”。它不再占用大量上下文,但仍然保留了足够的结构,使 Agent 在未来可以重新理解这个任务,而不是从零开始。
从理论上看,画布承担的是一种“任务状态外部化”的角色。它把原本隐含在长对话里的状态,显式地组织成可保存、可折叠、可恢复的结构。这样,Agent 不再只依赖上下文窗口里的线性历史,而是拥有了一种可以跨轮次、跨任务延续的短期任务记忆。
后文工程实践会进一步解释:我们如何把这种状态外部化具体拆成“原始信息、压缩摘要、任务画布、任务元信息”几层,并通过分级压缩和分级找回来尽量降低信息损失。
2.8 Agent 如何使用画布:层次化注意力机制
有了无限画布之后,Agent 的信息处理方式也会发生变化。它不再需要把所有历史信息都塞进工作记忆,而是可以像人类处理复杂资料一样,分层查看信息。
第一层是鸟瞰/Overview。Agent 先看到的是任务级别的概览:之前做过哪些任务,哪些已经完成,哪些还在进行,当前用户的问题可能和哪一个历史任务有关。这一层不追求细节,而是帮助 Agent 快速判断方向。
第二层是聚焦。当 Agent 判断某个任务相关时,它再打开对应的任务画布,查看这个任务内部的结构。此时,Agent 看到的不是一长串对话历史,而是一张经过组织的任务地图:哪些步骤已经完成,哪些节点还在进行,哪些信息汇聚成…