过去给大模型补知识,最常见的方法是 RAG:先检索文档,再把片段塞进上下文,让模型现场读材料、现场回答。但问题也很明显:答案一旦分散在多篇文档里,检索器可能漏掉关键证据;如果塞进太多无关材料,模型又容易被噪声带偏。
MEMO 的核心想法很直接:AI 的记忆不一定只能是向量库,也可以是一个专门训练出来的模型。
它把系统拆成两个角色:主模型叫 EXECUTIVE model,负责推理和最终回答,参数保持冻结;另一个是 MEMORY model,专门存新知识。推理时,主模型不是去检索原文,而是像人一样向记忆模型连续提问,再把问到的信息综合成答案。
它和 RAG、微调有什么不同
RAG 的优势是不改主模型,但依赖检索质量,也受上下文窗口限制。继续预训练或微调可以把知识写进参数里,但成本高、可能遗忘旧能力,而且闭源模型基本没法这么做。latent memory 则常和特定模型结构绑定,换个模型不一定能用。
MEMO 走的是中间路线:不动主模型,把知识写进一个独立的记忆模型里。 这样它既能像 RAG 一样兼容黑盒大模型,又能像微调一样把知识内化到参数中。
记忆模型怎么训练
MEMO 不是直接拿原始文档训练 MEMORY model,而是先让一个 GENERATOR model 把语料加工成 reflection QA 数据。这个流程有五步。
第一,事实抽取。把文档切成 chunk,同时抽取明说的事实和需要推断的间接信息。
第二,信息合并。把共享同一实体、时间或关系的 QA 合成更复杂的问题,让模型学习组合多个事实。
第三,验证和改写。检查问题是否离开原文也能看懂,比如把“他们提出了什么”改成明确指代;仍然含糊的样本直接丢弃。
第四,实体显式化。围绕实体生成…