大型语言模型在处理长对话或多步复杂任务时,最头疼的就是记忆管理问题。现有的方法往往采用人工设定的规则来决定哪些信息该存、哪些该删,效果有限且不够灵活。
阿里巴巴团队最近在论文《Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents》中提出了一种新思路:把记忆管理变成可学习的强化学习策略。
当前记忆管理的困境
想象一下,如果人类的大脑有两个独立的记忆部门:一个管长期记忆,一个管短期记忆,但两个部门从不沟通,各自按照固定规则工作。这就是当前LLM记忆管理的现状。
长期记忆方面,传统方法主要分为两类:
- 触发式方案:像LangMem、Mem0这样的系统,在预设时间点执行固定的存储操作,就像定时闹钟一样机械
- 代理式方案:如A-Mem等,使用额外的专家模型来管理记忆,增加了系统复杂度和推理成本
短期记忆方面,主要依靠:
- RAG检索增强:定期从外部知识库检索信息补充到上下文中
- 周期性总结:按固定规则压缩对话历史,容易丢失关键细节
这种割裂导致信息丢失、重复存储、无法智能决定记忆优先级等问题。现有的方法就像是"用字母顺序归档所有文件的机器人",机械而低效。
AgeMem的解决方案
AgeMem框架将长期记忆(LTM)和短期记忆(STM)管理统一起来,让AI代理学会自主决定:
- 何时存储新信息到长期记忆
- 何时更新或删除过时信息
- 何时检索相关记忆
- 如何总结和过滤当前上下文
核心创新在于,这些决策不是硬编码的规则,而是通过三阶段强化学习训练出来的策略。
工具化记忆操作AgeMem通过6个工具实现记忆管理:
长期记忆工具:
- Add:存储新知识
- Update:修改已存在的记忆
- Delete:删除过时信息
短期记忆工具:
- Retrieve:从长期记忆中检索相关信息
- Summary:压缩对话历史
- Filter:过滤无关内容
三阶段训练过程
第一阶段(LTM构建),模型学习识别哪些信息值得长期存储,就像学生学会记笔记。
第二阶段(STM控制),模型在嘈杂环境中学习过滤无关信息,相当于在喧闹房间里训练专注力。
第三阶段(整合推理),模型需要综合运用长…