参数化 Memory 漫谈(纯干货)

前言的前言:本文的思路是什么?

(和 LLM 相关的)Memory 是一个被广泛关注和讨论的话题,其中,参数化 Memory 是 Memory 的一个重要分支。

但是在众多的谈论中,我发现很多文章对于“参数化 Memory”这个概念的理解并不一致,比如认为“只要训练了一个记忆特化的模型,就归类为参数化 Memory 研究”。甚至在写下这篇文章之前,我也很难系统性地理解参数化记忆的本质是什么、难点如何,以及它和 LLM 的关系如何。

因此,本文主要是梳理一些脉络,尝试从头理解参数化,以及理解记忆。故称为:“漫谈”(偏教学向、学习向)。

作者注:
本文绝大部分内容由手工古法撰写,AI只是用于资料搜集和校稿。

本人愚钝,才疏学浅,唯恐笔力不逮,只能在写作过程中边学边悟、边写边改。拙作粗陋,实是抛砖引玉,恳请各位不吝赐教,多多指点迷津。欢迎私下交流探讨。

01

前言:Memory 到底是什么?
自进化是什么?

自进化,是一个很大的问题,但不妨试想一下。如果我们要迭代一个 LLM,通常会怎么做?

我们会观察它在不同任务、不同场景、不同用户需求下的表现,收集成功样本与失败样本,再据此调整模型的参数、数据、结构、训练方式或推理流程,使它在新的环境中表现得更好。

如果让一个 LLM 参与迭代另一个 LLM,它大概率也会沿着类似路径工作:阅读大量 bad case,理解当前方法的边界,归纳失败模式,提炼改进方向,然后尝试调整模型的行为生成机制。这个调整不一定直接发生在参数层,也可能发生在 prompt、工具策略、任务流程、检索系统、训练数据或外部记忆层。

从抽象层面看,这个过程可以类比为梯度下降。

梯度下降的基本逻辑是:

收集数据 → 计算梯度 → 调整参数

模型先观察自己的输出与目标之间的误差,再通过反向传播把误差转化为梯度,最后沿着梯度方向更新参数。这里的“梯度”可以理解为一种压缩后的更新方向:它把大量样本中的误差信息,压缩成一组可以改变模型未来行为的数值信号。

问题在于,LLM 的自迭代并不天然拥有这样清晰的数值通道。

对于传统神经网络训练来说,误差可以通过 loss 函数和反向传播被计算出来。数据中的 delta 可以被累积、求和、传播,最终形成参数更新方向。但对于 LLM 自迭代来说,很多 bad case 并不是简单的数值误差。它们往往是语义层面的失败:

  • 回答没有理解用户真实意图;

  • 工具调用时机错误;

  • 上下文压缩丢掉了关键约束;

  • 对风险的判断不够稳;

  • 生成内容看似合理,实际没有改变用户决策。

这些失败无法直接做 delta,也无法简单求和。LLM 需要先理解错误,归因错误,聚类错误,再把大量分散的经验压缩成可复用的更新方向。

因此,一个更一般的表述是:

自迭代的核心问题,是如何把海量经验压缩成可执行的更新方向。

这也是“Compression is Intelligence”这句话有启发性的地方。更严谨地说,它并非某篇论文的固定原句,更接近于对 Hutter Prize 背后思想的概括:Hutter Prize 以压缩维基百科文本作为推动通用智能研究的路径,其动机正是认为压缩与智能行为存在深层关联。近年来也有实证研究发现,LLM 在外部文本语料上的压缩效率,与多项下游 benchmark 表现高度相关。(Hutter Prize;arXiv)

Pre-training、SFT、post-training,以及更广义的模型编辑和偏好优化,本质上都在做类似的事情:把海量数据中的规律、偏好、约束和错误信号,通过某种算法压缩成更新方向,再写入模型的参数、行为策略或外部系统。

由此可以进一步推出一个关键问题:如果 LLM 要持续自迭代,它需要某种能够跨时间携带经验的中间状态。

这个中间状态要记录系统经历过什么,哪些输出曾经失败,失败原因是什么,下次遇到相似场景应该如何处理;同时,它还要支持把这些经验进一步转化为 prompt、工具策略、训练数据,甚至参数更新。也就是说,它承担的是“经验压缩后的更新方向”的保存与调用功能。

在这个特定语义下,我们不妨把这种中间状态称为 Memory。

这里的 Memory 是一个工作性定义。它并不预设自己等价于人类记忆,也不试图覆盖心理学、神经科学或哲学意义上的“记忆”概念。本文讨论的 Memory,特指 LLM 自迭代系统中的一种技术对象:一种能够保存历史经验、承接评价信号、支持错误归因,并在未来任务中参与行为更新的持久状态。

Memory 当然可以让模型记得更多。但本文更关心的是:系统能否把过去的交互、反馈、错误、偏好和验证结果,压缩成未来可调用、可修正、可验证的更新方向。

换句话说:

Memory 是 LLM 自迭代中的外部 optimizer state。

它保存的不是单纯的历史记录,而是历史经过评价、归因和压缩之后形成的可复用结构:

  • 我为什么错;

  • 我在哪类任务中容易错;

  • 我下次应该如何处理;

  • 什么样的结果才算更好;

  • 这条经验是否已经被验证;

  • 它应该留在外部记忆里,还是进一步固化进系统或参数中。

所以,从自迭代的视角看,Memory 可以被理解为一种经验压缩状态。它连接了过去的表现和未来的更新,使 LLM 有可能从一次次分散的交互中积累出稳定的改进方向。

至此,我相信你对于 Memory 有了新的认识。

我们先聊聊参数化 Memory 中的参数。

02

 LLM时代之前的自适应元学习

能不能把过去任务中的经验压缩进模型参数,使模型在遇到新任务时,只需要少量样本和少数梯度步,就能快速适应?MAML (Model-Agnostic Meta-Learning)就是为了解决这个问题而提出的。

MAML,全称 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks,由 Chelsea Finn、Pieter Abbeel、Sergey Levine 提出,发表于 ICML 2017。(PMLR) 它的主张是:

给定一组相关任务,训练一个初始参数 $ \theta $,使得模型从这个 $ \theta $ 出发,经过一到几步梯度更新,就能在新任务上表现良好。

MAML 不会在参数里存某个具体答案,其实它更像是在参数里存一种“可快速改写的结构”:当新任务给出少量样本时,梯度可以迅速把模型推到合适的位置。关于使用条件:MAML 对模型形式相对开放,只要求模型能用梯度下降训练,并展示在回归、分类、强化学习中都能使用。

值得注意的是:MAML 的方法训练模型参数,使得新任务上少量数据和少量梯度步就能产生好的泛化表现;换句话说,它训练的是一个“easy to fine-tune”的模型。

把 MAML 翻译成我们的问题:

MAML 不是把经验压缩成固定能力,而是把经验压缩成“快速适应能力”。

这里的“记忆”体现在参数的状态中。它保存了过去任务分布中的共性,使新任务的数据可以通过梯度快速触发正确变化。

这正好对应我们之前讨论的 Memory 视角:

参数化记忆 = 历史经验被压缩进参数后,形成一种让未来更新更容易发生的状态。

2.1 MAML 算法基础

过去任务分布    ↓外循环训练    ↓得到初始参数 θ    ↓新任务少量样本    ↓内循环梯度更新    ↓得到任务适应后的参数 θ'    ↓用新样本评估 θ'    ↓反过来优化 θ

一句话:

MAML 学到的不是一个最终答案,而是一个“容易学会新任务”的参数初始状态。(或者也可以说是中间状态)

2.2 和普通 pretraining 的区别

MAML 和普通 pretraining 或 multi-task training 通常在优化:

也就是让同一个参数  在很多任务上的平均表现尽量好。 MAML 优化的是:

其中:

关键差异在于:MAML 不直接要求  在当前任务上最好,它要求 经过少量梯度更新之后最好。

所以 MAML 的优化目标可以写成:

普通训练:让当前参数表现好MAML:让当前参数经过少量更新后表现好

这一步非常重要。它把训练目标从“当前能力”迁移到了“可适应性”。

从参数化记忆的角度看:

普通训练压缩的是:跨任务平均规律MAML 压缩的是:跨任务快速适应结构

这也是为什么 MAML 论文说,它相比普通预训练初始化,显式优化快速适应能力,让模型在少量样本下完成高效适配。

2.3 算法到底怎么运行?

MAML 有两个循环。 

内循环:在一个具体任务上快速适应

假设我们采样到一个任务 。 模型先用这个任务的少量样本计算 loss:

然后做一步梯度下降:

这里的  是适应任务  之后的参数。

这一步相当于:

拿到新任务少量样本↓计算任务梯度↓把通用参数 θ 改写成任务参数 θ'

外循环:优化“原始参数 θ”

接下来,MAML 不直接评价 ,而是评价更新后的 :

然后用这个 loss 反过来更新原始参数 :

其论文 Algorithm 1 的流程就是:采样一批任务,对每个任务用 K 个样本做内循环梯度更新,再根据更新后参数的任务 loss 做外循环 meta-update。

更简洁地说:

内循环:学习一个任务外循环:学习如何更快学习任务

2.4 为什么 MAML 需要“梯度穿过梯度”?

这是理解 MAML 的技术关键。

MAML 的外循环目标是:

但  本身由  通过一次梯度下降得到:

所以外循环求导时,要算:

这里出现了“对梯度再求导”,因此会涉及二阶导数,也就是 Hessian 相关项。 可以展开成直觉形式:

这里的:

就是 Hessian。 这说明 MAML 的外循环在问一个更深的问题: 

如果我现在把θ稍微放在另一个位置,那么未来那一步梯度更新会变得更有用吗?

这就是它和普通 fine-tuning 的本质区别。普通 fine-tuning 只关心这一步怎么走;MAML 关心的是起点应该放在哪里,才能让未来那一步走得最有效。

MAML 的论文也提到,完整 MAML 的 meta-gradient 涉及“gradient through a gradient”,计算上需要额外反向传播来得到 Hessian-vector products;论文还测试了省略二阶项的一阶近似,在 MiniImagenet 上表现接近完整版本,并带来约 33% 的网络计算加速。如果对一阶近似感兴趣,可以看下后续的论文:Reptile: A Scalable Metalearning Algorithm(ICLR 2018)(arXiv)(参数化记忆不一定必须依赖复杂的二阶梯度;只要能让初始参数靠近一族任务的可达区域,就能形成一种低成本的适应性记忆)和 ANIL: Almost No Inner Loop(ICLR 2020)(OpenReview)。

2.5 用经典的正弦函数例子理解

为了更好内化内循环以及 MAML 的精髓,我们举一个例子。

假设,每个任务都是拟合一条正弦曲线。

任务形式大概是:

不同任务有不同的振幅 (A) 和相位 (b)。

训练时,模型看到很多不同振幅、不同相位的正弦函数。测试时,给它一条新的正弦函数,只提供很少几个点,让它快速拟合整条曲线。论文中这个回归任务的振幅在  之间变化,相位在  之间变化,MAML 用少量样本和一步梯度更新进行适应。


如图所示,这是简单回归任务中的少样本适应图片。左图:注意 MAML 能够估计曲线中没有数据点的部分,表明模型已学习到正弦波的周期结构。右图:在同一任务分布上预训练(未使用 MAML)的模型进行微调,并采用调优步长。由于预训练任务中常存在矛盾输出,该模型无法恢复合适的表征,且无法从少量测试样本中进行外推。

这件事为什么重要?

普通预训练可能学到“很多正弦曲线的平均形状”。但测试时给出 5 个点,它未必能稳定推出这条新曲线的振幅和相位。

MAML 训练出的  具有另一种能力:
看到少量点↓这些点产生梯度↓梯度快速改变参数↓模型转向正确的振幅和相位
所以, 里面保存的并不是某一条正弦曲线,而是:

正弦函数家族的可适应结构。

肤浅地认为,这是参数化记忆的雏形之一。

2.6 从 Memory 角度重新解释 MAML

我们的大脑似乎开始预热了!

我们可以把 MAML 解释为一个双层记忆系统。

2.6.1 慢记忆:

 来自大量历史任务(可能是来自预训练、后训练等)。

它保存的是跨任务共性:

这些任务大概属于什么家族;哪些特征对多个任务都有用;参数空间中哪些方向容易被少量样本改写;怎样的起点能避免少样本过拟合;

这是 慢速、长期、参数化记忆。

2.6.2 快记忆:

 来自新任务上的少量样本。

它保存的是当前任务信息:

这个任务的类别是什么;这条曲线的振幅和相位是什么;这个用户/环境/目标有什么具体差异;当前任务需要沿哪个方向调整。

这是 快速、短期、任务特定记忆。

所以 MAML 的记忆结构可以写成:

这和我们之前讲的 Memory 很一致:

过去经验被压缩成一个状态;新经验触发这个状态的更新;更新后的状态改变未来行为。

2.7 MAML 的真正思想:学习一个“容易被梯度读取的参数状态”

如果把梯度看成一种读取机制,MAML 就非常有意思。

普通参数可能包含大量知识,但新任务给出的少量样本无法有效调动这些知识。MAML 希望训练出一种参数状态,使得新任务样本产生的梯度可以迅速“读出”过去任务分布中的相关结构。

可以这样理解:

θ 里保存历史任务经验新任务样本产生梯度梯度不是单纯修错梯度是在 θ 的结构中定位当前任务θ' 是被当前任务激活后的状态

这就是它对“Memory”的启发:

Memory 可以不只存在于文本、向量库、规则库里,也可以存在于一个“易被少量经验改写的参数初始化”里。好的参数化记忆,要让少量新证据能够高效改变模型行为。

记忆的质量不只取决于存了多少信息,还取决于未来能否被低成本、低样本、低风险地调用和改写。

2.8 Model-Agnostic(模型无关)?代价是什么?

这里的 “model-agnostic” 不要理解成完全无假设。

它的含义其实更加狭隘:

只要模型可以通过梯度下降训练,MAML 就原则上可以套上去。

它不要求模型是 CNN、RNN、Siamese Network、Memory-Augmented Network,也不额外引入专门的 meta-learner 参数。论文强调,MAML 可以直接应用于任何能用梯度下降训练的模型,并且能处理分类、回归、强化学习等不同问题。

但它仍然需要几个条件(敲黑板):

有任务分布 p(T)每个任务有少量训练样本可以定义任务 loss可以对模型参数求梯度训练任务和测试任务存在可迁移结构

所以 “agnostic” 指的是模型架构层面的开放性,不代表它不需要任务结构。

从这个角度来看也能够理解,为什么 LLM 的训练方法不太提到 MAML。

  • 限制一:需要清晰的任务分布

MAML 假设训练任务和测试任务来自相似的任务分布 $ p(\mathcal{T}) 。如果新任务完全偏离历史任务分布, \theta $ 里压缩出的适应结构可能失效。

  • 限制二:计算成本高

完整 MAML 需要对梯度更新过程再反向传播,会引入二阶导数相关计算,虽然论文也因此讨论了一阶近似 MAML。

  • 限制三:对大模型直接全参数 MAML 很难

对 LLM 来说,直接对全部参数做 MAML 成本很高。不过,有一些可以猜测的更加可行的方向是(其中部分内容我们后续也会callback到):

MAML + adapterMAML + LoRAMAML + prefix / soft promptMAML + tool policyMAML + small personalized module

也就是说,参数化记忆未必写进整个基座模型,可以写进可控的小型参数模块。

  • 限制四:它学习的是“梯度适应”,不等价于完整自进化

MAML 默认内循环是梯度下降。LLM 自迭代还涉及语义评价、工具使用、长期记忆、数据构造、验证回滚、安全约束。MAML 只解决其中一个很核心的问题:

如何把历史任务经验压缩成一个适合快速参数更新的状态。

遇到限制,说明是好事:(1)指明方向(2)符合预期。

2.9 MAML 系列阅读推荐

要全部讲透,还是太难了。不想把文章写得又臭又长(已经很长了,不要臭就好)。

关于更多的知识,可以阅读:CAVIA (PMLR) / ANIL——MAML 并不直接证明模型学会了深层快速改写。ANIL 提到一个观点,挺有意思的——许多所谓“快速学习”可能来自高质量特征复用。换句话说,参数化记忆未必总是表现为大规模参数重写,也可能表现为稳定表征加上少量任务特定变量的组合。

再补充一点关于低维适应与可扩展性。LEO(Meta-Learning with Latent Embedding Optimization, 2018)(OpenReview) 讲的是“适应(adaptation)不一定发生在高维参数空间”。LEO 学一个低维 latent embedding,再在低维空间里做梯度适应,最后生成任务参数。它很适合为后面的 LoRA、adapter、soft prompt 等做铺垫。也许未来的参数化记忆,可能就存在于这种低维、可控的子空间里。还有,iMAML(Meta-Learning with Implicit Gradients, 2019)(NeurIPS),它用隐式梯度降低 MAML 外循环反传内循环路径的内存负担。此外,它还顺带提醒了一件很现实的事:如果 MAML 系列未来真正走向大模型,计算图和内存开销会成为核心瓶颈。

03

LLM时代之前,MAML之后的自适应元学习:
Meta-SGD: Learning to Learn Quickly for Few-Shot Learning

如果 MAML 告诉我们,过去经验可以被压缩成一个适合快速 fine-tune 的参数起点,那么 Meta-SGD(Meta-SGD: Learning to Learn Quickly for Few-Shot Learning,ICML 2017)(arXiv) 进一步说明,过去经验还可以被压缩成一种更新几何。模型需要记住的,不只是“我现在应该站在哪里”,还包括“当新证据出现时,我应该往哪个方向走、走多远”。具体不展开了,讲的故事是:

MAML:历史经验 → 压缩成好的 θMeta-SGD:历史经验 → 压缩成好的 θ + 好的更新方向 + 好的学习率

04

Transformer 参数本身是否就是 Memory?

在 MAML 中,我们看到了一种参数化 Memory 的早期形态:过去任务中的经验可以被压缩进参数,使模型在遇到新任务时更容易被少量样本改写。

但 MAML 讨论的重点是“如何让参数准备好被改写”。到了一个已经训练好的 Transformer,问题换了一种形式:

Transformer 的参数里,是否已经存在某种可解释的记忆结构?如果存在,它能否被定位、被验证、被改写?

下面沿着三条经典线索往下看:FFN 的知识性、知识神经元,以及知识编辑。它们大致来自过去 3–9 年的研究。

4.1 FFN 为什么像记忆?

Transformer Feed-Forward Layers Are Key-Value Memories (ar5iv) 这篇论文在讨论的核心问题是:Transformer 里占据大量参数的 FFN / MLP 层到底在做什么?

如你所知,在标准 Transformer 中,FFN 层通常由两个线性变换和一个非线性函数构成。忽略 bias,可以写成:

其中:

  • :当前位置的 hidden state;

  • :第一层线性矩阵,可以理解为一组 keys;

  • :每个 key 被激活的程度;

  • :第二层线性矩阵,可以理解为一组 values; 

  •  输出是多个 value vectors 的加权组合。

FFN 层在形式上接近一个未归一化的 key-value memory。第一层矩阵中的 key 会被特定输入模式激活,第二层矩阵中的 value 会对输出词表分布产生影响。论文还指出,FFN 层大约占典型 Transformer 参数预算的三分之二(但是,目前这个超参数似乎会变了。关于 LLM 训练的超参数如何配比,也有很多论文可以挖掘和分享)。因此,如果想理解参数化知识从何而来,FFN 是绕不开的一站。(ar5iv)

跳过具体的实验,我们直接跳到实验结论:

第一,key 像模式检测器。如果从训练语料中检索最能激活某个 key 的文本片段,可以发现很多 key 对应人类可以识别的模式,例如某些 n-gram、句法片段、语义话题。论文中的人工标注实验显示,几乎每个被抽样的 key 都能找到至少一种可识别模式,65% 到 80% 的 top-trigger prefixes 能被归入某种模式。(ar5iv)

第二,层数越高,模式越语义化。低层 key 更容易对应浅层模式,例如末尾词、局部 n-gram;高层 key 更容易对应语义模式,例如话题或关系性上下文。(ar5iv)

第三,value 会诱导输出词表分布。如果把 value vector 投影到输出 embedding 空间,观察它对词表分布的影响。高层 value 更容易把概率质量集中到 key 所触发模式之后可能出现的 token 上。(ar5iv)

此外,如上图所示,FFN 输出通常由多个 active memory cells 组合形成,单个 memory cell 很少独立决定 layer-level prediction。即,FFN 在一次前向传播中激活一组 memory cells;同时,每层输出来自多个 value 的加权组合。(论文统计了 4,000 个验证集 prefix 在每一层 FFN 中激活了多少 memory cells)

因此,想表达的是:

Transformer 参数中存在一种“模式 → 输出倾向”的可解释结构。FFN 的第一层更像匹配条件,第二层更像写入到 residual stream 的内容。

但是它也只能说明一些可能存在的结构:

1. 说明 FFN 参数具有 memory-like 结构;2. 主要分析了 pattern 与 next-token distribution,还没有直接证明某个具体事实以干净、独立、可任意编辑的形式存在于某个参数槽位中。(我认为可任意编辑是不符合深度学习的思想的)

到这里要踩一下刹车:这项工作给参数化 Memory 提供了一个结构入口,但还没有完成事实定位,更谈不上事实写入。

更多的研究,也可以看看 Engram 论文。(arXiv)

4.2 Knowledge Neurons:事实能否被定位到神经元?

如果前一篇文章说明了 FFN 有 key-value memory 结构,那么 Knowledge Neurons in Pretrained Transformers (ar5iv) 就往前走了一步:某个事实的表达,能否归因到少量具体神经元?

这篇论文研究的是 BERT 上的 fill-in-the-blank cloze task。事实被表示为一个关系三元组,例如:

然后用 prompt 模板让模型预测 tail,例如:

The capital of Ireland is [MASK].

作者提出 knowledge attribution 方法(如上图),用 integrated gradients 衡量 FFN 中间神经元对正确答案概率的贡献,再通过多个表达同一事实的 prompt 模板做 refinement,保留那些跨表达共享的神经元。这些神经元被称为 knowledge neurons。关于实验,我想多讲一点,主要是让大家看看这种实验可以怎么做:

第一,作者在 BERT-base-cased 上做实验,并使用 ParaRel 数据集。最终保留 34 个关系,包含 27,738 个 relational facts 和 253,448 个 knowledge-expressing prompts。作者通过阈值控制,使每个 relation/fact 平均得到少量 knowledge neurons。

第二,操纵这些神经元会显著影响模型表达对应事实。论文报告:抑制 knowledge neurons 会让正确答案概率平均下降 29.03%;放大 knowledge neurons 会让正确答案概率平均上升 31.17%。对应 baseline 神经元的影响很小,甚至在放大时平均下降 1.27%。

第三,作者尝试做“知识手术”。他们直接修改 FFN 第二层中对应 neuron 的 value slot,用于更新事实或擦除某类关系。更新事实时,knowledge neurons 的 change rate 为 48.5%,success rate 为 34.4%,随机神经元的 success rate 为 0.0%。关系擦除实验中,被擦除关系的 perplexity 大幅上升,其他关系受到较小影响。

把这些实验放在一起,可以得到一个总结:

如果 FFN 是 key-value memory,那么某些事实表达也许可以被追踪到少量被激活的 FFN 中间神经元。

但,还是和前面 FFN 知识性那一节一样,这里必须强调:定位不等于可靠写入。它的实验主要发生在 BERT 的 cloze 任务中,编辑实验也被作者表述为 preliminary case studies。它证明“少量神经元与事实表达有强相关和可干预关系”,但还没有证明这些神经元就是稳定、独立、可规模化编辑的事实存储单元。

4.3 ROME:事实关联能否被直接写入参数?

ROME 的全称是  Rank-One Model Editing ,来自论文  Locating and Editing Factual Associations in GPT  ( ar5iv )。它研究 GPT 风格的 autoregressive Transformer,并把事实表示为:

其中  是 subject, 是 relation, 是 object。

ROME 先用 causal tracing 找到事实召回时的关键计算位置。它发现,在 GPT-2 XL 等模型中,事实关联的召回与 中间层 MLP 模块 强相关,关键 token 通常是 subject 的最后一个 token。即,中间层 feed-forward modules 在处理 subject tokens 时,会介导 factual predictions。

ROME 的基本流程可以压缩成三步。

Step 1:找 key用包含 subject 的文本,读取 subject 最后一个 token 在目标 MLP 层中的内部表示,得到 subject key。(对照组)Step 2:求 value优化一个 value vector,使它被写入 residual stream 后,模型会预测新的 object,同时尽量保留模型对 subject 的其他理解。(加噪声)Step 3:写参数用一个 rank-one update 修改 MLP 权重,使这个 key 以后能映射到新的 value。(恢复噪声组)

显然,ROME 的写入可以理解成一个受约束的线性代数问题:

同时要求对大量旧 key 的影响尽量小。简化直觉是:找到一个低秩参数改动,让目标 subject key 读出新的 object value,并尽量减少对其他 key 的干扰。论文中 ROME 把 MLP 看作 linear associative memory,并通过 rank-one update 插入新的 key-value association。

ROME 的实验贡献主要体现在两点。

第一,它在 zsRE 编辑任务上取得了很高的 efficacy,并且与 fine-tuning、hypernetwork 类方法相比具有竞争力。论文表格中 ROME 在 GPT-2 XL 上的 efficacy 达到 99.8,paraphrase 为 88.1,specificity 为 24.2,与其他方法相比显示出强单点编辑能力。

第二,ROME 引入 CounterFact 来评估更难的反事实编辑。这个数据集关注三类指标:efficacy、paraphrase generalization、neighborhood specificity。也就是说,编辑后模型要能回答新事实,要能在改写 prompt 下仍然回答新事实,还要避免把邻近但未编辑的事实一起改掉。

回到我们梳理的文章脉络里,ROME 的意义是:

ROME 把参数化 Memory 的问题推进到“可写入”层面。它不再只问参数里有没有事实关联,而是尝试通过低秩更新,把新的 factual association 写入中间层 MLP。

当然,这里要强调一个关键点:ROME 写入的是特定形式的事实关联,尤其是 subject-relation-object。这是一种非常基础、类似知识图谱结构的表示方式。它不等同于写入完整知识系统,也不保证新事实的所有逻辑后果都会自动传播,更不保证在那些无法用语言描述的 latent space 中顺利完成编辑(edit)。

4.4 MEMIT:从单个事实到批量事实写入

ROME 的问题是单点编辑(尽量减少对于其他 key 的干扰)。MEMIT 的问题是:能否一次性写入大量 factual memories?

MEMIT,全称 Mass-Editing Memory in a Transformer(ar5iv),沿用 ROME 的思想,继续把 MLP 层视为可写入的 associative memory。它的目标是直接更新模型参数,把大量新的事实关联批量写入模型。MEMIT 可以在 GPT-J 6B 和 GPT-NeoX 20B 上扩展到数千条事实关联,规模比此前工作高出多个数量级。(ar5iv)

它的实验思路是:确定要修改的事实集合,然后计算每条事实在模型中对应的表示(representation),并通过优化一个目标函数来更新模型参数,使这些事实能够被正确记忆(memorization),同时尽量减少对其他事实的干扰。稍微展开一下,看看这个优化过程怎么写成数学形式:

ROME 可以写成:

也就是让一个 subject key 映射到一个新的 value。 MEMIT 把这个式子扩展成一批:

其中:

  •  :一批要编辑的 subject keys;

  • :一批目标 values;

  • :目标 MLP 的输出投影权重;

  • :一次写入的事实数量。

如果只关心新事实,直接求一个  让它满足  就行。但这样会严重破坏旧知识,因为原来的  还承载着大量已有 key-value 映射。 所以 MEMIT 实际求的是:

并希望:

等价于:

右侧这个量就是 residual error:旧模型对于这些新 facts 还差多少。

按列堆叠 keys 的写法,MEMIT 的单层更新可以近似写成:

其中:

 是来自“保留旧 memories”的最小二乘目标。假设旧 memories 的 key 矩阵是 。这些旧 key 原来会被  映射到 ,所以更新后最好不要在这些方向上改变太多。于是可以把目标写成:

第一项表示新 facts 还差多少没有写进去;第二项表示在旧 key 方向上尽量不要改变原模型行为。对  求导并令梯度为零,会得到 normal equation:

因此:

问题是,真实预训练时的旧 memories 和旧 keys  不可见。MEMIT 的做法是用这一层输入 keys 的经验二阶矩来近似:

并进一步估计为:

这里的  就是论文里说的 uncentered covariance,也可以理解为旧 key 分布的 Gram / second-moment matrix。 用来平衡旧 associations 和新 associations 的权重。这个  项的额外作用是:它让更新在常见激活方向上更保守,从而降低对原行为的破坏。它和正则化项( 会把所有方向一视同仁地压住,而  是由旧 key 的数据分布估计出来的。旧模型经常激活的 key 方向会受到更强保护,不常见的方向则允许更大更新。

所以,MEMIT 论文把单层 MLP 视为 linear associative memory,并用 normal equation 推导这种 batch update;旧 keys 的统计量通过经验样本估计。

其实,让我再添一小段,是我的灵感:从该实验思路里,我们其实已经可以蒸馏出一些有价值的思考:任何可扩展的 Memory 系统都必须同时处理 memorization 和 preservation。只追求目标记忆写入,很容易破坏邻近事实、生成质量或长期一致性;只追求保守,又无法真正更新知识。MEMIT 的价值在于,它把这个张力写进了一个可计算的目标函数。

MEMIT 与 ROME 的关键区别在于:它把写入分散(distributed)到一组 critical MLP layers 中。论文用 causal mediation analysis(解释一下,这是一种统计学和因果推断方法,用于剖析自变量对因变量的总效应)找到一段参与事实召回的 MLP 层,然后计算希望这些层记住的 vector associations,并把每条 memory 的一部分分布式写入不同层。

更简单地说:

ROME:把一个事实写入一个中间 MLP 层。MEMIT:把许多事实批量写入一段关键 MLP 层。

MEMIT 正好也提到了我会比较关心的“参数写入/编辑难度”谱系(后面会有 callback):

  • Efficacy:目标事实是否成功写入;

  • Generalization:换一种问法是否仍能回答新事实;

  • Specificity:邻近事实是否保持原样;

  • Fluency:生成质量是否受损;

  • Consistency:相关表达是否保持一致。

论文在 CounterFact 上比较 10,000 edits 的结果时,MEMIT 在 GPT-J 上的综合 score 为 85.8,明显高于 ROME 的 50.3 和 MEND 的 23.1;GPT-NeoX 上 MEMIT score 为 82.0。论文同时指出,FT-W 虽然在一些概率指标上表现好,但出现了 generation failure,说明大规模参数写入必须考虑生成质量损伤。

我们还必须知道的是,MEMIT 涉及到的 knowledge representation 范围有限,主要是 directional relations;没有覆盖空间/时间推理、数学知识、语言知识、程序性知识,甚至没有覆盖对称关系。

因此我们无需过早兴奋。

MEMIT 证明了参数写入可以从单点编辑扩展到批量编辑,但它也清楚暴露了参数化Memory 的边界:当前可写入的主要是结构较清晰的事实关联,距离完整记忆系统还有明显距离。

再帮大家回顾一下,方便从全局视角理解这个系列的工作:

Transformer 参数中确实存在一些可解释、可干预的事实关联结构,尤其集中在 FFN / MLP 相关模块中;但“能定位”“能干预”“能稳定写入大量可泛化知识”是三个难度递增的问题。

4.5 把记忆写入参数,到底难在哪里?

前面几篇论文都在尝试编辑 Transformer 参数中的 factual associations。但要把这些技术应用在参数化 Memory 里,仍然有很多难点。

因此,这一节来讲讲“限制几何”。这里的“几何”可以理解为:一次参数编辑,本质是在高维参数空间中施加一个小的方向性扰动。这个扰动要同时满足多个约束。

对于一个事实编辑:

理想写入需要同时满足(呼应了我在前面 MEMIT 中写到的):

ROME / MEMIT 体现出的难点在于:这些目标天然会互相牵制。

4.5.1 Generalization 与 locality 很难同时满足

  • 如果编辑太“窄”,模型只会在原 prompt 上输出新答案,换个问法就失败。

  • 如果编辑太“宽”,邻近事实会被误伤。

ROME 的 CounterFact 设计正是为了测试这个问题:同一个新事实要在 paraphrase prompts 上泛化,同时不能改变 neighborhood prompts 中相似 subject 的旧事实。(ar5iv)

4.5.2 “定位在哪里”与“在哪里写最有效”并不总是一回事

这点非常关键,专门写一小段。

NeurIPS 2023 的 Does Localization Inform Editing? (NeurIPS) 研究了 causal tracing localization 与 model editing performance 的关系。它发现,Causal Tracing 得出的事实位置,与 ROME、MEMIT、Adam fine-tuning 等方法的编辑成功率几乎不相关;很多被定位到其他层的事实,仍然可以通过编辑 ROME / MEMIT 常用的早中层 MLP 层被改写。论文结论强调,localization 回答的是信息在 forward pass 中哪里被携带,editing 回答的是哪里干预最能改变模型行为,这两个问题可能不同。

这个观点挺有价值的。它说明:

参数中存在可解释结构,并不意味着我们已经掌握了最优写入位置。

换句话说,“找到记忆”与“可靠改写记忆”之间还有一层编辑动力学问题。

4.5.3 多次编辑会引入干扰和遗忘

大规模写入的另一个难点是连续编辑。2024 年 Model Editing at Scale leads to Gradual and Catastrophic Forgetting 研究了 ROME、MEMIT、MEND 和 fine-tuning 在连续编辑下的表现。论文发现,ROME 和 MEMIT 在规模化编辑时优于 MEND 和 fine-tuning,但新编辑会持续影响模型中其他事实;连续修改还可能导致 gradual forgetting,随后出现 catastrophic forgetting。(arXiv)

另一个 2024 年工作 Can We Continually Edit Language Models? (ACL Anthology) 把这个问题称为 knowledge attenuation:随着 sequential editing 次数增加,模型对已编辑知识的保留能力显著下降。作者把原因归结为 redundant parameter interference 和 update weight disentanglement。

这说明参数写入存在容量和干扰问题。即使每次编辑看起来局部,多次编辑之后,局部扰动会在共享参数空间中累积。

4.5.4 事实编辑不等于完整知识更新

ROME / MEMIT 多数实验围绕 factual triples 展开。它们可以把:

Eiffel Tower — located in — Rome

这类新事实写入模型,并测试 paraphrase / neighborhood。

但还有一些更复杂的知识更新,显然不是它们能解决的:

时间变化:谁现在担任某职位?多跳推理:A 属于 B,B 属于 C,所以 A 与 C 的关系如何?反事实一致性:改了一个事实,相关事实是否自动更新?程序知识:如何完成一个任务?偏好记忆:某个用户长期喜欢什么风格?安全约束:哪些内容应该被遗忘或拒答?

MEMIT 论文的讨论部分也明确列出其覆盖范围有限,尚未覆盖时间推理、数学知识、语言知识、程序性知识和对称关系等。

4.5.5 参数修改不一定是代价最低的更新方式

有一篇 EMNLP 2023 的论文,叫 Can We Edit Factual Knowledge by In-Context Learning?。简单说,它发现在不更新参数的情况下,in-context knowledge editing 在 GPT-J 6B 上可以达到与梯度编辑方法有竞争力的成功率,同时副作用更少,包括更少的 over-editing 和更少的遗忘。这个结论并不是在否定参数化 Memory 的价值,但它提醒我们:对于很多应用,外部上下文、RAG、adapter、patch memory 可能比直接改主参数更稳定。(ACL Anthology)

总的来说,一句话总结下这个系列的研究:

Transformer 参数可以承载某种参数化 Memory,尤其是事实关联形式的 Memory;但当前可解释、可写入、可规模化维护的主要还是局部事实关联。完整 Memory 仍需要外部记忆、检索、验证、增量学习和参数编辑共同组成系统。

05

大参数太难,小参数增量作为
“可插拔记忆”的可能性与思路?

既然主模型参数中存在可写入的事实结构,并且直接写入主参数会遇到局部性、干扰和连续编辑问题,那么更现实的工程路线可能是:把 Memory 写入更小、更可控、更可回滚的参数模块。

换成公式:

  • 其中: :冻结的基座模型参数;

  • :某个任务 / 用户 / 领域 / 经验簇对应的小参数记忆;

  • :加载该参数增量后的行为分布。

这和 ROME / MEMIT 的关系是:

  • ROME / MEMIT:直接改主参数 θ。

  • Prefix / LoRA / QLoRA:冻结 θ,把更新写进小参数 φ。

5.1 Prefix-Tuning:把 Memory 写成可学习的连续上下文

论文:Prefix-Tuning: Optimizing Continuous Prompts for Generation,Xiang Lisa Li 与 Percy Liang,ACL-IJCNLP 2021。全量 fine-tuning 需要为每个任务存一份完整模型;Prefix-Tuning 冻结语言模型,只优化一段连续的 task-specific prefix,让后续 token 像 attend 到 virtual tokens 一样 attend 到这段前缀。作者在 GPT-2 表格到文本生成和 BART 摘要任务上验证方法,报告只学习约 0.1% 参数即可在 full-data 场景接近 fine-tuning,在 low-data 和 unseen-topic extrapolation 场景更有优势。(ACL Anthology)

冻结 Transformer 参数 θ为每层准备一组可学习 prefix key/value activations后续 token 的 attention 可以读取这些 prefix activations训练时只更新 prefix 参数 φ

连续前缀没有被限制在真实词表 embedding 上,表达空间更大。直接优化 prefix 参数不稳定,因此使用较小矩阵经过 MLP 重参数化来生成 prefix;训练完成后,重参数化网络可以丢弃,只保存 prefix。

模型主体保持不变,经验被压缩成一段可持久保存、可加载、可替换的连续上下文。

Prefix-Tuning 论文自己也点到了 personalization 场景:每个用户可以训练独立 prefix,基座模型共享,从而减少数据交叉污染;多个用户 / 任务的样本甚至可以在一个 batch 中处理。

Prefix 的限制也是明确的,prefix / prompt 类方法存在优化困难、参数量变化下性能非单调,以及占用序列长度的问题:

  1. 它占用 attention 可读位置,长上下文任务里会吃掉上下文预算。

  2. 它主要通过控制激活路径来改变输出,对事实级精确写入不够直接。

  3. 它的优化对初始化、学习率、prefix 长度比较敏感。

  4. 它更像行为引导参数,未必适合作为复杂知识库。

因此,我们差不多可以下定结论:

Prefix-Tuning 证明了:冻结大模型之后,小型连续参数也可以承载稳定的任务经验;但它的写入位置偏输入侧 / activation 侧,精确性和上下文成本限制了它作为通用参数化 Memory 的能力。

5.2 LoRA:低秩增量作为压缩后的任务记忆


LoRA: Low-Rank Adaptation of Large Language Models,Microsoft,2021。LoRA 的核心动机是:模型越大,全量 fine-tuning 越难部署;以 GPT-3 175B 为例,为每个任务保存一份完整 fine-tuned 模型非常昂贵。LoRA 冻结预训练权重,在 Transformer 的若干线性层中注入可训练低秩矩阵,显著减少训练参数;论文报告相对 GPT-3 175B 的 Adam fine-tuning,LoRA 可将可训练参数减少 10,000 倍,将 GPU memory 需求降低 3 倍,并且在 RoBERTa、DeBERTa、GPT-2、GPT-3 上达到接近或优于 full fine-tuning 的质量。(arXiv)

想必大家也比较熟悉了,对一个线性层:

LoRA 冻结 (W),只学习一个低秩增量:

其中:

训练时:

W 冻结A、B 可训练ΔW = BA推理时可以把 BA merge 回 W

这就是 LoRA 优雅的地方:训练时小参数,部署时可以合并进原线性层,因此没有 adapter 那类额外网络深度带来的 inference latency。当然,这种可插拔式的功能固然优秀,也很难说它是不是限制死了该方法的天花板。

LoRA 的研究 taste 在于,它没有停留在“少训点参数”。它提出了一个结构假设:

下游任务适应所需的权重变化 W ,可能具有低 intrinsic rank。

这个假设来自一条很重要的经验观察:预训练模型虽然参数很多,但适配下游任务时可能只需要在低维子空间中移动。LoRA 论文也是受 intrinsic dimension 相关工作的启发,进一步假设 adaptation matrix 也有低 intrinsic rank。

如果经验写入所需的变化天然低秩,那么 Memory 不必占用完整参数空间。(但是这个结论还没有被验证,应该吧)

LoRA 的限制还是很多。

第一,LoRA 的 rank 是强约束。低 rank 可能提升泛化和稳定性,也会限制表达容量。小 rank 不一定适合所有任务。

第二,LoRA 的插入位置主要靠经验选择。当前很大程度依赖 heuristic 来选择应用 LoRA 的 weight matrices。

第三,LoRA 本身没有提供 Memory 生命周期管理。它能保存参数增量,但它不负责:

何时写入写入哪些经验如何去重如何处理冲突如何忘记如何验证写入是否改善未来行为

5.3 QLoRA:让低秩参数记忆进入大模型规模

QLoRA: Efficient Finetuning of Quantized LLMs,NeurIPS 2023 把冻结基座量化到 4-bit,再把梯度传到 LoRA adapter 中。(arXiv)

1. 把基座模型 W 以 4-bit NF4 形式存储。2. 前向 / 反向时,将量化权重 dequantize 到计算数据类型。3. 不更新 W。4. 只训练 LoRA 参数。

公式上仍然是 LoRA:

它降低训练成本,并没有改变 LoRA 的表达形式;效果强依赖数据质量、任务匹配和评价方式。

不过值得一提的是,小参数增量天然适合“多记忆并存”,因为参数化 Memory 经常需要同时维护多个状态:

用户 A 的偏好用户 B 的偏好项目 X 的代码风格项目 Y 的领域术语任务 Z 的输出格式某次实验沉淀出的修复策略

全量 fine-tuning 会让这些状态混在一份模型里。PEFT 提供了更清楚的分离方式:

θ + φ_user_Aθ + φ_user_Bθ + φ_project_Xθ + φ_domain_Y

总之,LoRA/QLoRA 的意义在于,它给“经验压缩成参数”提供了一个明确形状(提供了一种方法):

如果一个任务 / 用户 / 领域的适配只需要少数关键方向,那么低秩增量就足以承载这类经验。这个思想和我们文章里说的压缩即智能主题高度一致:

经验不是原样存储。经验被压缩成少数可训练方向。这些方向在基座模型的特征空间中放大某些行为倾向。

LoRA 的低秩假设对很多任务有效,但它有任务边界。复杂领域迁移、跨语言迁移、高精度工具使用、长链路推理、持续个性化,可能需要更高 rank、更复杂模块,或者外部 Memory 与参数增量混合。因此:

低秩增量适合承载某些稳定的适配方向(比如一些长期的记忆),但是会有损模型的泛化性;当经验本身高度离散、冲突频繁或需要可追溯证据时,外部记忆仍然必要。

06

小参数量还是很难,如果参数不变时,
模型是否仍在“学习”?

前面几章的 Memory 都要动参数:MAML 动初始化、LoRA 动一小撮增量、ROME/MEMIT 直接改 FFN 的某一层权重。到本章,问题变成:如果一个字节的参数都不改,只是往 context 里塞进几个示例,模型的预测就变好了——这算不算"学习"?发生在哪里?

in-context learning(ICL)就是这件事。GPT-3 论文里它是"few-shot":给几个 (输入, 输出) 示例,模型不更新权重就能做新任务。(NeurIPS) 我将分别从两个角度拆开它:

  • 它在做什么模式? → induction heads(Olsson et al., 2022)(Transformer Circuits)

  • 它在跑什么算法? → 隐式梯度下降 / 岭回归(Akyürek et al., 2023 (arXiv);von Oswald et al., 2023 (PMLR))

6.1 为什么大模型能 In-context Learning?

来自 Anthropic 的论文 In-context Learning and Induction Heads(Olsson et al., Anthropic, 2022),是 Transformer Circuits Thread 的一篇长文,机制可解释性路线的代表作。核心是一个大胆假设。作者的原话是:

"we present preliminary and indirect evidence for a tantalizing hypothesis: that induction heads might constitute the mechanism for the actual majority of all in-context learning in large transformer models. 我们为一项引人入胜的假设提供了初步且间接的证据:归纳头可能构成了大型Transformer模型中所有上下文学习的实际主要机制。"

注意用词是 "preliminary and indirect evidence"(初步、间接证据)。整篇文章的证据来自对 34 个 Transformer 训练全程的分析,包含 超过 50,000 次注意力头消融。

6.1.1 Induction Head 是什么

先介绍下 induction head(归纳头)。induction head 是一种注意力头,它实现了一个极简算法:完成 [A][B] … [A] → [B] 这样的序列补全。看到当前 token 是 A,就回头找上一次 A 出现的地方,看它后面跟的是什么(B),然后预测 B。

机制上它需要两个头跨层组合(显然,至少 two layer attention-only 的模型才能支持实验)(注意:这里的 head 指的是 attention head):

  • 第 1 层:previous-token head(前一个 token 头)。把“前一个 token 的信息”拷贝进入第二个 head 所在的当前位置。如图所示,假设第一次出现的 A 对应的是“node”,那么它就会把“struction”这个信息拷贝下来。

  • 第 2 层:induction head(归纳头本体)。依赖上一步拷贝来的信息,去 attend "上次出现 A 之后的那个 token"再把它 copy 到输出、抬高对应 logit。

因此,我们可以归纳出 induction head 的两个 actions 的定义(在重复的随机 token 序列上测试):

  • prefix matching(前缀匹配):这个头会 attend 回那些“其后跟着当前 token”的历史位置。即,确定第一、二个“struction”的位置。

  • copying(复制):这个头的输出会抬高它 attend 到的那个 token 的 logit。即,把“struction”这个信息复制到第二个“struction”的位置上去。

值得注意,induction head 不是在背 n-gram 统计表。规则 [A][B]…[A]→[B] 对任意 A、B 都成立,A 和 B 高度解耦。这意味着它能在分布外工作,也为"抽象版模式匹配"埋下伏笔。我们后续会讲到。

6.1.2 ICL score 怎么定义

机制被定义后,接下来的问题是:我们如何评估模型 in-context learning 的能力、效果?再往下深挖一层,何谓 ICL?ICL 本质是说:模型在 context 里看到一些示例后,能更好地预测后续 token(也就是 induction head 的含义)。这也是 Learning 的含义,那么这里必然存在一个不等关系。想到这一点,那 ICL 的具体评估策略就不难制定了。

在论文中,很简单,他们用一个简单启发式量化 ICL(宏观视角,跟 Kaplan et al. 一脉,看 loss 随 token 位置的下降)(arXiv)。原文定义逐字为:

"In-context learning score: the loss of the 500th token in the context minus the average loss of the 50th token in the context, averaged over dataset examples."

即 ICL score = loss(第 500 个 token) − loss(第 50 个 token)(注意方向,通常是负值,绝对值越大说明越靠后的 token 预测得越好)。符合我们的直觉:模型如果真的在用(真的学习了) context 的话,那么应该是——越靠后 loss 越低。其中,500 选在长度 512 的 context 末尾,50 选在"文本基本属性已确立、但仍靠前"的位置。

我们只需要记住,ICL score 表达的是 in-context learning 的强度,越负说明模型越会用 context。

6.1.3 phase change(相变)——本文引擎

现在,我们有了计算 loss 的方式,也有了衡量 ICL 的指标。接下来,我们可以做洞察实验了。通过查找训练 checkpoints 的表现,发现训练早期有一个突变窗口:

  • 窗口大约在 2.5×10⁹ 到 5×10⁹ token(对大模型约是训练的 1–2%)。

  • ICL score 对应的 loss 差从相变前的 < 0.15 nats 跳到相变后的 ≈ 0.4 nats,然后整个后续训练里基本恒定,且跨模型尺寸恒定(从 2 层玩具模型到 13B 大模型都一样)。

  • 训练 loss 曲线上出现可见的 "bump"(induction bump):多层模型的轨迹在这里明显偏离 1 层模型。

  • 同时,induction heads 在这个窗口里形成。

  • 例外:1 层模型定义上做不出 induction head,也就永远不发生相变、几乎没有 ICL。

一个有意思的推论(作者列为 "unexplained curiosity"):ICL 像是"有或没有"的开关技能,不是可以持续打磨的。相变之后 ICL score 不再涨,大模型相对小模型的优势全在"预测靠前 token"上,而不是"更会用 context"。

还有下面这些结论:

我还很好奇,如果我提出了一种 induction head 的变体,比如 coding induction head,那,这些结论依旧成立吗?不得而知。

此外,作者也做了更多的实验,得出了下面的结论:

    1.小型 attention-only 模型:induction heads 贡献了 ICL 的大部分,有强因果证据(消融 + 机制逆向工程)。

    2.带 MLP 的大模型:只能给中等强度的相关证据,可能有混淆因素。

    在小模型上高度相关(因果 + 机制),在大模型上只是强相关(correlational),模型尺寸越大,相关性越弱。

    6.1.4 per-token loss analysis

    平时说的 loss 是一个数,对一大堆 token 的负对数似然取了平均。平均会抹掉信息——你只知道整体变好,不知道是哪些 token 变好。平均磨平了很多局部特征。

    Olsson 的做法:固定一批探针 token(论文用了一万个,来自固定文本)。训练过程中每隔一段存一个 checkpoint,对这一万个 token 逐个算 loss,拼成一个一万维向量:

    checkpoint t 的状态:

    训练全程 = 这个向量随 t 移动,在一万维空间里画出一条曲线,每个点是一个 checkpoint。

    然后用 PCA 降维,把这一万个维度的向量投到二维平面,看训练轨迹的形状(横轴是 checkpoint 的编号)。因此,相变在这个空间里表现为轨迹的突然转向。

    轨迹转向说明"学的东西变了"。于是取相变窗口前后两个快照,对一段真实文本逐 token 算 Δloss = loss(后) − loss(前),按 Δ 给每个 token 上色。

    经典的例子是《哈利·波特》的开头:"The Dursleys" 重复出现符合 [A][B]…[A]→[B],相变后这段 loss 骤降;而 "Mrs. Dursley…Mrs. Potter" 违反该模式,这意味着 loss 不变——说明就是 induction head 在压 loss。

    case 1(符合 induction 模式):  前文出现过 "Mrs. Dursley"  后文再次出现 "Mrs." → 下一个真实 token 是 "Dursley"  匹配 [A][B] … [A] → [B],A = "Mrs.",B = "Dursley"  → 相变后这个 "Dursley" 的 loss 大幅下降case 2(违反 induction 模式):  前文出现过 "Mrs. Dursley"  后文出现 "Mrs." → 下一个真实 token 却是 "Potter"  induction 会押 "Dursley",押错  → 相变前后这个 "Potter" 的 loss 基本不动

    相变期间的收益,精确集中在"induction 规则能猜对"的 token 上;规则会猜错的位置没有任何改进。这就把宏观的 ICL 跳变和 induction 这个具体机制对上了号——改进的分布形状,和该机制预测的形状吻合。当然这仍属相关证据,只是定位精度很高。

    6.1.5 抽象模式匹配:不仅仅只是 [A][B] … [A] → [B]

    作者提出,模型足够大、表示足够抽象时,同一批 induction head 会从"精确 token 复制"升级成 [A*][B*]…[A]→[B],其中 A_≈A、B_≈B 在某个嵌入空间里相近,我理解是表征空间(也就是 latent representation space)。举例:A 和 A* 是同一个词的不同语言,于是这个头能逐词翻译。这是"fuzzy / nearest-neighbor 版模式补全",也是从 induction head 通向"一般 ICL"的桥。

    机制上还是那套两跳电路(previous-token head 搬信息 + 第二层做匹配复制),不同之处在于:QK 回路的匹配从 token 身份变成表示相似,OV 回路的复制从恒等变成一个非平凡映射。两处的几何性质都来自预训练。

    举例示意(词对齐做了简化):

    context: … le chat … the ?  A  = the(当前 token)  A* = le  (表示空间里 the ≈ le,同一功能词的两种语言形式)  B* = chat(A* 的下一个词)  B  = cat (输出端 cat ≈ chat)→ 该头在 "the" 处 attend 到 "chat",经 OV 映射抬高 "cat" 的 logit

    同一个电路(circuit,不是电路的意思)骨架,靠嵌入几何就能做逐词翻译这种表面上完全不同的活,也就是机器翻译。这就是 attention 的强大之处:它能把表示空间的几何性质映射到输出空间的几何性质。

    现在,我们回过头来就能理解 为什么说它是通向一般 ICL 的路 。因为 few-shot prompt 的结构就是:

    套上抽象版归纳模式匹配,这就是我们在这篇论文里看到的东西:

    匹配:在表示空间里找与 xq 最像的 xi取值:attend 到对应的 yi复制:输出与 yi 同类的答案

    这等于在 context 内部做了一次 soft nearest-neighbor:attention 的 softmax 权重天然给出对多个邻居的软加权,比严格 1-NN 更接近核回归。相似度度量存在权重里(预训练学的),训练样本存在 context 里(当场给的)。

    我们从实验上,系统地解释了:为什么我们输入一段 Prompt 进去,模型就能在 context 里"学习"到一个新东西(在不调参的情况下)。

    6.3 ICL 是一种怎样的学习算法?

    6.3.1 ICL 蕴含线性优化算法

    Transformer 做 ICL 时,内部隐式跑的是哪个已知学习算法? 我们不妨假设(What learning algorithm is in-context learning?(Akyürek et al., ICLR 2023,高引论文来自 MIT、Google Search、Stanford)):

    in-context learner 在激活里编码了一个更小的模型,随着 context 里示例的到来,在前向传播中"训练"这个隐式模型。

    前向传播可以看成一种直线程序:无循环、无分支,指令按顺序执行。这套思路和 RASP 一脉相承,即把 Transformer 形式化为可编程模型。( PMLR ) 沿着这个思路,原则上可以用线性方程来表达直线程序(不懂可以问 AI),再用线性回归作为探针问题来验证命题。因此,ICL 算法学习的问题可以被转化为线性回归问题:函数类是 ,其中 ,损失是平方误差。序列排成:

    编码上把  和  拼成  维向量  w^* = (X^\top X + \lambda I)^{-1} X^\top y  是 OLS, 是岭回归(可赋予贝叶斯解释)。

    • Transformer 能实现哪些算法呢?先从"能不能"(表达能力,构造性上界)开始构造: 构造靠四个可用单层 Transformer 实现的基本算子:mov(列间搬运)、mul(列内矩阵乘)、div(除以某标量)、aff(仿射变换)。举个例子,mov 可以用 attention 机制来实现;mul 可以用位置内做乘法(内积、矩阵向量积、外积)来实现;div 可以用位置内除以某坐标里存的标量来实现等。

    • GD 的更新写成 ,用上面这四个基础算子拼出来。所以 GD 也可以构造出来。

    • 岭回归也能构造出来,闭式解是 ,用上面四个基础算子拼出来。

    得到阶段性结论:

    • 一步梯度下降:对 d 维回归,用 O(d) 的 hidden size + 常数层数,Transformer 可实现一步 GD(具体的构造细节可以看论文)。

    • 岭回归闭式更新:用 O(d²) 的 hidden size + 常数层数,可实现"把一个新观测并入岭回归解"的更新(具体的构造细节可以看论文)。

    • n 步算法 → 大致 n 倍的层数。

    它证明了该问题的存在的可能性:Transformer 的前向传播可以实现已知的学习算法(GD、岭回归、OLS),并且可以在 context 里"训练"一个隐式模型。

    这是存在性证明——"能实现"不等于"训练后真的学到了这个"。这一点后来 von Oswald 专门补刀(见 6.3.5)。

    6.3.4 行为对比:训练出来的模型到底像谁

    作者构造了"学习规则欠定"的回归问题(不同合法学习规则会在留出数据上给不同预测),然后比 trained transformer 的预测跟 GD、岭回归、精确最小二乘、贝叶斯估计器谁最接近。核心结论是随深度和噪声发生"算法相变":

    在无噪线性回归下,ICL 与 OLS 的吻合度显著高于 kNN、GD、SGD 等——说明存在指向 OLS 式解的特定 inductive bias,不是泛泛地逼近"某个学习算法"。

    6.3.5 probing:能不能从隐藏态里解码出中间量

    6.3.4 的行为对比只到输入输出为止——但是,两套内部机制完全不同的系统,也可能给出一样的预测,内部过程却无从窥视。想再进一步,得打开模型…
    — 以上为试看内容(约 40%),开通会员后阅读全文 —