Harness 与 Agent 工程 · 上下文与记忆 · 2026-06-29

RAG又被绕开了,MIT用MEMO给AI外挂记忆脑

MEMO提出用AI模型存储记忆,为RAG和微调提供新思路,实现更精准的推理。

核心内容:

  1. MEMO如何通过独立记忆模型存储知识
  2. 与RAG、微调等方法的核心差异
  3. MEMO推理与训练的关键步骤

过去给大模型补知识,最常见的方法是 RAG:先检索文档,再把片段塞进上下文,让模型现场读材料、现场回答。但问题也很明显:答案一旦分散在多篇文档里,检索器可能漏掉关键证据;如果塞进太多无关材料,模型又容易被噪声带偏。

MEMO 的核心想法很直接:AI 的记忆不一定只能是向量库,也可以是一个专门训练出来的模型。

它把系统拆成两个角色:主模型叫 EXECUTIVE model,负责推理和最终回答,参数保持冻结;另一个是 MEMORY model,专门存新知识。推理时,主模型不是去检索原文,而是像人一样向记忆模型连续提问,再把问到的信息综合成答案。

它和 RAG、微调有什么不同

RAG 的优势是不改主模型,但依赖检索质量,也受上下文窗口限制。继续预训练或微调可以把知识写进参数里,但成本高、可能遗忘旧能力,而且闭源模型基本没法这么做。latent memory 则常和特定模型结构绑定,换个模型不一定能用。

MEMO 走的是中间路线:不动主模型,把知识写进一个独立的记忆模型里。 这样它既能像 RAG 一样兼容黑盒大模型,又能像微调一样把知识内化到参数中。

记忆模型怎么训练

MEMO 不是直接拿原始文档训练 MEMORY model,而是先让一个 GENERATOR model 把语料加工成 reflection QA 数据。这个流程有五步。

第一,事实抽取。把文档切成 chunk,同时抽取明说的事实和需要推断的间接信息。

第二,信息合并。把共享同一实体、时间或关系的 QA 合成更复杂的问题,让模型学习组合多个事实。

第三,验证和改写。检查问题是否离开原文也能看懂,比如把“他们提出了什么”改成明确指代;仍然含糊的样本直接丢弃。

第四,实体显式化。围绕实体生成…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026062989465.html