Harness 与 Agent 工程 · 上下文与记忆 · 2026-06-16

从 RAG 到 MAG:解析 Agent 的长期记忆 (Memory) 架构演进

从RAG到MAG,解析智能体如何应对长期运行中的“记忆”挑战,实现更高效的上下文管理。

核心内容:

  1. 从RAG到MAG的演进背景与核心问题转变
  2. MAG架构重点解决的两大核心应用场景
  3. 面向复杂长周期任务的具体实现思路与挑战

最近 LoCoMo被刷的越来越高了,Agent 发展也是突飞猛进,尤其是需要长期运行(Long-horizon)的智能体越来越多,原来的 RAG 已经完全不够看了。业界越来越频繁地讨论 Agent 在长期运行下的 Memory(记忆)管理,这种范式转变在学术界和工业界已经被正式命名为 MAG (Memory-Augmented Generation,记忆增强生成)。

于是乎最近集中看了不少 Memory 管理的经典 Paper 和架构,在这里给大家做个分享。

在切入正题前,我还想个极简回顾(如果是大家熟悉可以直接跳过,看下面 Memory 深度拆解那节)。

原来做 RAG,主要就是检索些文章,让模型生成回复的时候有个参考。大概 2 年前,不少模型还受限于上下文窗口,信息多了还得加个摘要等技术,把检索信息硬塞进有限的窗口里(虽然当时也有号称窗口大的模型,但实际落地效果懂的都懂)。

大概一年前,模型窗口越卷越大,信息基本都能放下了。但问题又变成了:模型很难从浩如烟海的检索结果中提取出真正有效的信息(也就是经典的 Lost in the Middle 现象)。不过好在随着技术迭代,这个问题基本被解决了(比如最近各类 Long Context 的大海捞针榜单都被刷得很极致)。

到了现在,问题的形态又变了。Agent 如今面临的是几乎无限的上下文场景(长期运行)。另一方面,即使大海捞针指标刷得高,超长的 Context(里面混杂的大量无用噪声信息)依然会显著拉低模型的复杂推理能力,并且极度浪费 Token。业界现在主要依赖 Context Caching(上下文缓存)来强行压降长窗口的算力账单和首字延迟,但这属于 Infra 层的物理外挂,治标不治本;要真正解决冗余信息导致模型智商掉线的‘上下文腐烂’,必须在算法层引入 MAG 来做主动过滤和管理。所以,综合性能和成本的双重考量,Memory 管理的研究已经成为了重中之重。

下面我们就详细讲讲 Memory 现在的真实玩法。

Memory:到底在解决什么问题?

我们先给 Memory 面临的场景分个类。广义上讲,目前的 MAG 架构主要在死磕两大类截然不同的高优场景:

  1. 面向复杂的长周期任务:它的前身可以看作是前阵子爆火的 DeepResearch,只不过现在 Agent 的任务流程更长、更复杂,时间跨度也更大了。
  2. 个人智能助手 (Personal AI) 场景:核心是在日常处理用户的各类多源、碎片化信息中,不断积累和迭代属于用户的个性化上下文与偏好(即终身学习)。

下面我们挨个盘一盘,看看业界神仙打架都是怎么卷的。

场景一:面向复杂的长周期任务(DeepResearch 终极演进)

做过长线 Agent 任务的同学肯定有体会,这类任务有个要命的特征:信息量极度爆炸(除非检索工具很好,不然128K很容易打爆),而且强依赖多跳的因果推理。

1. 暴力长窗口为啥失效了?——“上下文腐烂”

很多人觉得搞个 1M 或者 10M 的超大窗口就万事大吉了,但在实际场景下,当系统试图处理需要“高阶信息聚合推导”而非“简单单点检索”的超长文本时,会不可避免地遇到 “上下文腐烂”(Context Rot) 现象——也就是模型的推理能力呈现断崖式下跌。不仅关键信息会被噪声彻底淹没,注意力机制的算力成本更是呈平方级暴增,谁家的显卡也扛不住。

早在长窗口爆发前夕,业界就已经在尝试破局,以 23 年经典的 MemWalker 为代表的交互式阅读给出了极佳思路

2. 从碎片 RAG 到交互式阅读:MemWalker

既然单纯靠大窗口硬塞和切块碎片的 RAG 搞不定了(切块容易打断逻辑链),业界开始玩起了更高级的架构。比如普林斯顿和 Meta 联合提出的 MemWalker 框架,思路就很妙。它不再傻傻地把长文本一次性推入模型,而是让 LLM 变成一个能够在结构化空间里穿梭的“交互式阅读智能体”。

遇到极长的文档,MemWalker 分两步走:

踩坑经验: 这套玩法理念极好,但非常吃模型自身的“指令跟随能力”(没个 70B 以上规模根本压不住)。并且在面对动辄千万 Token、实体极其繁杂的代码库时,树节点的生成依然容易遇到爆炸式的扩展瓶颈。

3. 各大记忆架构流派对比

因为单棵静态树搞不定全网级的复杂关联,同时纯切块的向量检索又存在严重的 “语义漂移(Semantic Drift)”(孤立文本块丢了上下文),所以工业界重新翻出了 22 年时序图谱的经典之作 EvoKG,将其置信度演进机制魔改后融入大模型。GraphRAG(图检索增强) 等结构化方案就被推上了神坛。有了图的约束,Agent 不再是“在暗室里摸黑找碎片”,而是有了“上帝视角”,能顺着逻辑链路跳跃。

这里我给大家总结梳理一下目前业内主流的几种 Memory 架构流派:

架构流派 典型系统模式 核心优势 最致命的“翻车点” (长周期失败模式)
纯向量检索 平铺向量 RAG 部署极简,并发高、延迟极低 语义漂移。一遇逻辑跳跃直接抓瞎,完全丧失深层结构关联。
层级调度体系 分层向量 (如 MemGPT) 类似 OS 显存管理,高价值信息重用率高 分页灾难。淘汰策略一旦误删核心状态参数,会导致协作共识破裂。
图谱与结构 GraphRAG 完美应对多跳追问,提供全局战略摘要 构建开销极大。LLM 提炼关系易带入偏见,本体设计复杂…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026061626915.html