最近在搞大模型记忆这个专题, 所以从多角度调研大模型记忆。一般我们更多考虑Agent级别记忆, 该类记忆的方式多半是伴随一个牛叉的检索系统进行设计。以下内容向大家介绍从底层神经网络角度, 介绍一种新的网络结构: Google Titans另一个记忆相关的方案参见:如何在生产环境基于本体Ontology的记忆系统关注公众号,拷贝并后台发送"TITAN",获取Google Titan技术文档
深入解析谷歌的神经长时记忆架构:宣称支持200万+ token上下文窗口,复杂度仅为O(n)。数据很好看,但保持怀疑态度是合理的。
一句话总结:谷歌的Titans架构引入了神经长时记忆,通过“基于意外”的更新在推理过程中学习——实现200万+ token的上下文,复杂度为O(n)而非O(n²)。基准测试显示,在“大海捞针”任务中准确率达98.8%,而Mamba-2仅为31%。但该研究没有公开官方代码,实现细节模糊,且后续论文发现分块处理会降低性能。这是一项令人印象深刻的创新,但在相信这些数字之前,最好等待独立的复现结果。
“好记性顶不过烂笔头” —— 谚语
或者说:如果无法检索,最好的记忆也毫无用处。
谷歌选择在除夕夜发布
在8K上下文长度下,任务中达到98.2%的准确率(可扩展至200万+tokens)。
Mamba-2—之前大家都看好的架构?准确率31%。
谷歌不只是击败了竞争对手,也彻底碾压了自己。
在AI领域最难的记忆基准测试上实现了3倍的提升,而这项成果却埋没在假期期间大多数人匆匆划过的论文里。
真正令人震惊的是:Titans 不只是像高级数据库那样存储上下文,它可以推理过程中学习。
这个模型实际上会实时重写自己的记忆,自主决定记住什么、遗忘什么——更像大脑,而不是硬盘。
200万+tokens。复杂度为O(n)而非O(n²)。在某些任务上,参数效率比GPT-4高出2000倍。
而谷歌呢?并没有过多宣传。没有官方代码。没有API。没有时间表。
他们构建了可能是自原始Transformer以来最重要的架构——然后把它锁进了保险箱。
原因是什么?
什么是谷歌Titans? 谷歌Titans是一种神经网络架构,它结合了基于注意力的短期记忆与可学习的长期记忆模块。
与Transformer的O(n²)复杂度不同,Titans实现了O(n)的线性复杂度,同时能处理超过200万tokens的上下文窗口。该架构由谷歌研究院于2024年12月提出。
限制所有大语言模型的 O(n) 与 O(n²) 问题
大家需要关注一个数字:O(n²)。
这事注意力机制的复杂度。上下文长度翻倍,计算量就变成四倍。
这也是为什么"128K上下文"的模型会出问题。
Transformer架构在2017年通过其注意力机制彻底改变了AI——模型在处理当前tokens时能看到所有先前tokens的方法。"全局注意力"正是语言模型能够保持连贯对话和理解上下文的原因。
这样的机制有什么问题?
注意力机制具有 O(n²) 的复杂度。上下文长度翻倍,计算和内存需求就变成四倍。这就是为什么GPT-4,尽管拥有128K词元的上下文窗口,但在长上下文任务上表现出明显的性能下降,一些研究发现其有效上下文低至8K tokens,尽管窗口是128K。这个模型技术上可以_接收_128K tokens。但它无法有效地_使用_它们。
Researchers花了七年时间试图解决这个问题:
上下文长度解决方案时间线
表中的每个方案都有所取舍。稀疏注意力会丢失全局依赖关系。线性注意力无法忘记无关信息。状态空间模型将所有信息压缩成固定大小的表示,在长序列中会丢失细节。
Titans 声称能解决这个难题。
谷歌Titans架构运作原理
三记忆系统
Titans 并非单一架构,而是一个建立在三种不同记忆类型之上的框架,其灵感来源于人类认知中短期记忆与长期记忆的分离方式。
1. 核心(短期记忆):注意力机制
这是标准的滑动窗口注意力机制,作用于当前的Tokens片段。可以把它想象成你的工作记忆——精确、详细,但容量有限。训练上下文长度:4K 词元(推理时窗口大小可能变化)。
2. 长期记忆:神经记忆模块
这是 Titans 的创新之处。与将上下文压缩成固定大小向量的传统 RNN 不同,Titans 使用一个深度神经网络(具体来说,是一个 2 层以上的多层感知机)作为其记忆。这个网络在推理过程中通过一种称为测试时训练的过程进行学习。
3. 持久记忆:习得参数
这些是与任务无关的可学习参数,在训练后保持固定。可以把它们看作是“本能”——不随当前输入而改变的通用知识。
正是这个神经长期记忆模块,将 Titans 与此前所有试图解决上下文窗口问题的尝试区分开来。虽然 Mamba 和其他状态空间模型将上下文压缩成固定向量,但 Titans 的神经记忆可以自适应地扩展其表征能力。
"惊喜"机制
这里就是数学变得有趣的地方。神经记忆模块并非盲目地存储一切。它使用一个"惊喜"指标来决定哪些内容值得记住。
直觉是这样的:如果你正在阅读一份财务报告,并遇到了"季度"这个词,你的大脑不会急于记住它——这是意料之中的。但如果在这份报告中间突然看到一张香蕉皮的图片,你就会注意到。这就是惊喜。
从数学上讲,Titans 通过重构损失的梯度来衡量惊喜:
## 泰坦记忆更新伪代码def memory_update(M_prev, key, value, eta, theta, S_prev):""" M_prev: 前一个记忆状态(神经网络权重) key, value: 当前输入表征 eta: 惊喜学习率(动量系数) theta: 遗忘率(权重衰减) S_prev: 前一个惊喜状态(动量) """# 计算重构损失:记忆预测值的准确度如何? loss = mse_loss(M_prev(key), value) # l(M; x) = ||M(k) - v||²# 计算梯度 = "惊喜信号" gradient = compute_gradient(loss, M_prev)# 用动量更新惊喜状态# 高梯度 = 意外输入 = 高惊喜度 S_t = eta * S_prev - theta * gradient# 更新记忆 M_t = M_prev + S_treturn M_t, S_t
三十行伪代码。这是Google花了八年时间试图修正注意力机制的样子。
这种大语言模型的测试时训练方法与传统推理方式有根本性不同。模型不是在固定权重下运行,而是在每次前向传播时执行梯度下降——实时学习和适应。
核心:梯度充当了惊喜信号。如果记忆已经"掌握"当前输入(重构误差低),梯度就很小——无需更新。如果输入出人意料(重构误差高),梯度就很大——将其存储起来。
Titans记忆的工作原理: 1. 输入tokens抵达记忆模块 2. 模型计算重构损失(预测值 vs 实际值) 3. 梯度大小决定"惊喜"程度 4. 高惊喜度 = 大梯度 = 记住该tokens 5. 动量累积近期的惊喜模式 6. 权重衰减实现旧信息的自适应遗忘
两项关键改进
Titans 引入了两种机制,使其变得实用:
动量机制:模型不仅考虑“瞬时意外”(当前tokens),还考虑“过往意外”(近期上下文)。这确保了一个令人意外的句子能被完整捕捉,即使其后续的单个词语本身并不令人意外。
自适应遗忘(权重衰减):记忆容量是有限的。遗忘门允许模型丢弃…