Harness 与 Agent 工程 · 上下文与记忆 · 2026-01-13

从RAG到记忆工程:AI长期记忆系统的架构范式与落地瓶颈

从RAG到记忆工程,AI如何实现从"能说"到"会记"的跨越?三位技术专家深度解析这一关键技术的架构与落地挑战。

核心内容:

  1. 记忆工程的技术本质与价值定位:区别于RAG和微调的系统性工程方法论
  2. 记忆工程在用户体验、产品实践中的具体应用场景与优势
  3. 当前技术落地的关键瓶颈与未来发展方向

一场关于技术本质、落地挑战与未来展望的深度对话

导读 2025年12月25日晚,记忆张量CTO李志宇与两位行业专家——阶跃星辰Agent研发负责人胡晨、OPPO AI高级算法工程师于明,围绕"记忆工程"展开了一场深入对话。这场讨论不仅是为2026年1月16-17日在北京举办的Agent AI Summit超级智能体系统架构大会预热,更是对这一新兴技术领域的系统性思考。

记忆工程,这个对许多人来说还有些陌生的概念,正在成为AI系统从"能说"到"会记"的关键。它不是简单的算法创新,而是一套系统性的工程方法论,关乎AI如何在长期运行中持续积累、组织、修正和使用信息。从端侧手机到云端服务,从技术架构到隐私安全,三位嘉宾用70分钟的对话,为我们描绘了记忆工程的全景图。

01什么是记忆工程:从技术本质到价值定位

李志宇首先抛出了核心问题:"记忆工程究竟是什么?它与我们熟悉的RAG、微调等技术本质上有什么区别?"他从自己的实践出发给出了答案:"从我的角度来看,记忆工程更关注的不是当前这个回答好不好,而是整个AI系统在长期运行过程中,是否能够持续去做积累、组织、修正和正确使用。比如哪些东西应该被记住,这些记忆应该放在哪里,用的时候怎么调用,有过期和错误的信息怎么修正,这些修正过的信息需不需要做审计。所以我认为记忆工程是一套比较偏系统性的工程理论和方法,而不是某一个具体的算法。"

胡晨从用户体验的角度补充道:"我觉得记忆工程的核心是获得一个跟人类对齐的上下文。什么意思呢?我们希望让模型有足够的上下文,跟人类尽量对齐。人类会从历史记忆中找出有效的信息,也会丢弃无效的信息。举个例子,我们跟一个智能助手讨论工作计划,传统系统问'今天有什么重要会议',它可能只会在当前对话里找,找不到就幻觉出一个答案。有记忆的系统不仅能回答你的工作安排,还能记得你之前提到的项目进展、关注的事,甚至主动提醒你在做这个事情前需要关注哪些材料。两者最大的区别,就是有没有给模型足够的上下文。"

于明则从产品实践的角度阐释:"记忆工程就是AIOS操作系统里的memory。它可以根据与人的对话过程,总结出跟个人相关的信息,比如我爱吃辣,推荐餐馆时就记住这一点;我明天有什么安排,问的时候能召回。它跟RAG的分界线其实没那么明显,很多地方会用到RAG的技术。至于微调,可能在一些垂直任务上让大模型学到知识,但微调周期长,对数据、算力要求高,效果也不够稳定。所以RAG和记忆工程可能更像是大模型的一个组件。"

三位嘉宾的观点呈现出有趣的互补:李志宇强调系统性和长期性,胡晨聚焦用户对齐和体验,于明关注产品落地和技术实用性。这恰恰说明,记忆工程不是单纯的技术问题,而是涉及架构、算法、工程、产品多个维度的系统工程。

02落地挑战:从端侧到云端的技术瓶颈

当话题转向实际落地,三位嘉宾不约而同地提到了挑战的复杂性。

李志宇梳理了几个关键瓶颈:"在记忆写入时,到底写什么是个难点;随着用户跟agent交互越来越多,记忆量增大,检索调度的性能会成为瓶颈;用户对特定主题会持续更新,更新过程中也有技术瓶颈。"

于明从手机厂商的角度给出了更具体的回答:"对我们做手机的来说,有个词叫'快稳省'——要快、要稳定、要省电。在端侧,很多模型要在NPU上计算,这是个比较大的挑战。另外多模态能力,对图片或视频的召回,也是很大的挑战。还有表格、结构化文本这些方面。云端的话,在意图、实体、长期记忆、prompt过滤方面都有不少挑战。整个系统框架上,长期记忆是大家一直在探索、发展很快的方向,我们也在持续摸索。"

胡晨则从模型能力的角度分析:"首先是长文本能力。当前Transformer架构的模型有长度限制,从32K、64K到128K、256K,甚至有的能到两百万tokens。但一个人如果一天跟AI充分交流,稍微多聊一点就能到几十兆级别的数据量,不可能把所有上下文都放到提示词中。随着长度增长,模型能力也会下降。第二是评估困难。记忆非常主观,每个人偏好差别很大,很难有标准的评价体系,这让整个系统的评估难度非常高。第三是团队协同的挑战。记忆工程既牵扯模型算法,也牵扯数据、工程、评估,几个方面得协同优化。做RAG或模型微调时,稍微动一个模块,其他模块可能都得跟着更新。这种牵一发动全身的情况,会让整个系统在组织和协同方面带来很大挑战。"

从这些讨论中可以看出,端侧更关注效率和资源约束,云端更关注能力和系统复杂度,而两者都面临评估体系不完善、多模块协同困难的共性问题。

03技术路线选择:外部存储与模型内部记忆的权衡

关于记忆系统的技术路线,三位嘉宾讨论了一个核心问题:是用类RAG的外部存储方案,还是把记忆训练到模型内部,还是两者混合?

李志宇提出了观察:"实际场景中有不同的技术路线讨论。有些场景比较适合用类RAG的解决方案去模拟记忆过程;也有些高频的记忆类型,倾向于把它训到模型内部,或者训练模型让它具备更好的记忆操纵能力。换句话说,有外部存储的范式,也有model-based的范式。在实际场景中做这些不同范式时,是否需要做一些权衡?还是说未来hybrid范式是必选路径?"

胡晨认为要根据场景灵活选择:"这得根据实际场景来看。比如我是云端无限算力的场景,可能大概率希望是model-based去解决一切,可以训练模型推理。有些像于老师遇到的端云结合场景,就非常考虑成本、开销、推理延迟等问题。从模型角度说,我们肯定希望所有东西都能融入模型中,这样系统复杂度会相对较低,不需要每次都推理召回一堆信息然后处理。如果一个模型足够智能,我可能希望做到这个程度。当然现在也有很多新技术,比如三星提到的HRM工作,通过无限上下文的网络结构来处理。所以解决方法非常多,一定得根据实际场景看哪几种方式结合起来比较好。当前范式下可能大部分都还是通过混合方式——有一部分模型微调的能力,有一部分通过RAG去加强。因为模型肯定需要持续训练,但训练周期赶不上外部知识库的更新,所以这肯定是存在的。从长期角度说,可能会有某种范式能突破这个架构,但现在还不太好估计。"

于明从实践经验给出了更具体的方案:"我觉得分流加上冗余的设计,可能对用户体验会更好。什么叫分流?很多跟个人相关的personal信息,大模型没法搞定。比如我的日程、我跟小孩拍的照片,这些需要去memory里找。但秦始皇是谁、给我说首诗,模型内部肯定能搞定。像手机设置这些垂直信息,我们可以微调模型。我们希望分流之后,简单的问题或大模型能搞定的问题让大模型来搞定,基于特定记忆的让RAG来召回。但当分错了,也要有一定的容错机制。比如你认为要通过RAG召回,但RAG没有召回,这时候可能需要大模型继续来回答。我觉得分流加冗余可能是一个比较好的方案,这个就是hybrid。"

李志宇总结道:"两位老师的观点可以这样理解:外部存储的优势是成本可控、可删除可更改、效率高,天然适配高频变化的事实和个性化内容。模型内部的记忆存储更倾向于吸收相对稳定、高价值的结构化知识。模型内部训练完成后,优势是调用成本低,推理路径更短;但带来的问题是没办法频繁更新,可解释性也相对较弱。所以总结起来,需要根据特定场景——是高频变化的场景,还是相对稳定的场景,来选择使用哪一部分的能力。结合我们自己的做法,我们认为确实需要根据不同场景类型,对参数化的记忆和提示词的记忆执行一定的调度行为,从而保证面向场景能达到hybrid的稳定性最优状态。"

这段讨论揭示了一个重要的共识:在当前技术阶段,hybrid模式不是可选项,而是必选项。关键在于根据场景特点(变化频率、稳定性、个性化程度)来合理分配外部存储和模型内部记忆的比例。

04评估体系:如何衡量记忆系统的好坏

"除了准确率,我们还应该关注哪些关键指标?如何利用这些指标帮助我们持续迭代?"李志宇提出了评估这个关键问题。

胡晨给出了系统性的回答:"评估确实非常重要,如果评估不好,很难衡量系统到底哪个地方出了问题。我们得先从出发时机开始说。比如系统有一些自动唤醒记忆的时刻,这个既不能太早也不能太晚。用户问了问题,得判断什么时候去调用,就有相应的响应时间,所以响应时间非常重要。太慢了用户体验不好,太快了用户可能对你是否真的查了…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026011358460.html