最近 LoCoMo被刷的越来越高了,Agent 发展也是突飞猛进,尤其是需要长期运行(Long-horizon)的智能体越来越多,原来的 RAG 已经完全不够看了。业界越来越频繁地讨论 Agent 在长期运行下的 Memory(记忆)管理,这种范式转变在学术界和工业界已经被正式命名为 MAG (Memory-Augmented Generation,记忆增强生成)。
于是乎最近集中看了不少 Memory 管理的经典 Paper 和架构,在这里给大家做个分享。
在切入正题前,我还想个极简回顾(如果是大家熟悉可以直接跳过,看下面 Memory 深度拆解那节)。
原来做 RAG,主要就是检索些文章,让模型生成回复的时候有个参考。大概 2 年前,不少模型还受限于上下文窗口,信息多了还得加个摘要等技术,把检索信息硬塞进有限的窗口里(虽然当时也有号称窗口大的模型,但实际落地效果懂的都懂)。
大概一年前,模型窗口越卷越大,信息基本都能放下了。但问题又变成了:模型很难从浩如烟海的检索结果中提取出真正有效的信息(也就是经典的 Lost in the Middle 现象)。不过好在随着技术迭代,这个问题基本被解决了(比如最近各类 Long Context 的大海捞针榜单都被刷得很极致)。
到了现在,问题的形态又变了。Agent 如今面临的是几乎无限的上下文场景(长期运行)。另一方面,即使大海捞针指标刷得高,超长的 Context(里面混杂的大量无用噪声信息)依然会显著拉低模型的复杂推理能力,并且极度浪费 Token。业界现在主要依赖 Context Caching(上下文缓存)来强行压降长窗口的算力账单和首字延迟,但这属于 Infra 层的物理外挂,治标不治本;要真正解决冗余信息导致模型智商掉线的‘上下文腐烂’,必须在算法层引入 MAG 来做主动过滤和管理。所以,综合性能和成本的双重考量,Memory 管理的研究已经成为了重中之重。
下面我们就详细讲讲 Memory 现在的真实玩法。
Memory:到底在解决什么问题?
我们先给 Memory 面临的场景分个类。广义上讲,目前的 MAG 架构主要在死磕两大类截然不同的高优场景:
- 面向复杂的长周期任务:它的前身可以看作是前阵子爆火的 DeepResearch,只不过现在 Agent 的任务流程更长、更复杂,时间跨度也更大了。
- 个人智能助手 (Personal AI) 场景:核心是在日常处理用户的各类多源、碎片化信息中,不断积累和迭代属于用户的个性化上下文与偏好(即终身学习)。
下面我们挨个盘一盘,看看业界神仙打架都是怎么卷的。
场景一:面向复杂的长周期任务(DeepResearch 终极演进)
做过长线 Agent 任务的同学肯定有体会,这类任务有个要命的特征:信息量极度爆炸(除非检索工具很好,不然128K很容易打爆),而且强依赖多跳的因果推理。
1. 暴力长窗口为啥失效了?——“上下文腐烂”
很多人觉得搞个 1M 或者 10M 的超大窗口就万事大吉了,但在实际场景下,当系统试图处理需要“高阶信息聚合推导”而非“简单单点检索”的超长文本时,会不可避免地遇到 “上下文腐烂”(Context Rot) 现象——也就是模型的推理能力呈现断崖式下跌。不仅关键信息会被噪声彻底淹没,注意力机制的算力成本更是呈平方级暴增,谁家的显卡也扛不住。
早在长窗口爆发前夕,业界就已经在尝试破局,以 23 年经典的 MemWalker 为代表的交互式阅读给出了极佳思路
2. 从碎片 RAG 到交互式阅读:MemWalker
既然单纯靠大窗口硬塞和切块碎片的 RAG 搞不定了(切块容易打断逻辑链),业界开始玩起了更高级的架构。比如普林斯顿和 Meta 联合提出的 MemWalker 框架,思路就很妙。它不再傻傻地把长文本一次性推入模型,而是让 LLM 变成一个能够在结构化空间里穿梭的“交互式阅读智能体”。
遇到极长的文档,MemWalker 分两步走:
- 阶段一(建树):先让大模型分段做递归摘要,自底向上构建出一棵有严格层级关系的“记忆树(Memory Tree)”。这里不需要保留原文 100% 的细节,只要信息量足够引导 Agent 在下一步做路径分流决策就行。
- 阶段二(交互式导航): 收到复杂查询时,大模型化身为独立的“规划节点”,从树根出发跑图。模型用内置的工作记忆记录走过的轨迹,自己决定是顺着某个分支深挖细节,还是发现走错路了主动 “回溯(Backtracking)”去找新方向。
踩坑经验: 这套玩法理念极好,但非常吃模型自身的“指令跟随能力”(没个 70B 以上规模根本压不住)。并且在面对动辄千万 Token、实体极其繁杂的代码库时,树节点的生成依然容易遇到爆炸式的扩展瓶颈。
3. 各大记忆架构流派对比
因为单棵静态树搞不定全网级的复杂关联,同时纯切块的向量检索又存在严重的 “语义漂移(Semantic Drift)”(孤立文本块丢了上下文),所以工业界重新翻出了 22 年时序图谱的经典之作 EvoKG,将其置信度演进机制魔改后融入大模型。GraphRAG(图检索增强) 等结构化方案就被推上了神坛。有了图的约束,Agent 不再是“在暗室里摸黑找碎片”,而是有了“上帝视角”,能顺着逻辑链路跳跃。
这里我给大家总结梳理一下目前业内主流的几种 Memory 架构流派:
| 架构流派 | 典型系统模式 | 核心优势 | 最致命的“翻车点” (长周期失败模式) |
|---|---|---|---|
| 纯向量检索 | 平铺向量 RAG | 部署极简,并发高、延迟极低 | 语义漂移。一遇逻辑跳跃直接抓瞎,完全丧失深层结构关联。 |
| 层级调度体系 | 分层向量 (如 MemGPT) | 类似 OS 显存管理,高价值信息重用率高 | 分页灾难。淘汰策略一旦误删核心状态参数,会导致协作共识破裂。 |
| 图谱与结构 | GraphRAG | 完美应对多跳追问,提供全局战略摘要 | 构建开销极大。LLM 提炼关系易带入偏见,本体设计复杂… |