Harness 与 Agent 工程 · 上下文与记忆 · 2026-08-18

1M的AI生命 - 解读context

从对ChatGPT的“神性”误认到理解context本质,一文读懂大模型对话中的记忆真相与工程逻辑。

核心内容:

  1. 从“礼貌对待AI”到认知转变:ChatGPT的“记忆”错觉
  2. 大模型对话的“记忆”真相:模型本身stateless,依赖外部系统存储
  3. context的工程实现:摘要、检索与缓存机制的核心作用

2023年初,我第一次用上 ChatGPT。

那时候,我觉得这种支持多轮对话的 AI 真的非常神奇。它不只是会回答问题,而是能记得你们前面聊过什么,能顺着一个话题不断往下聊,甚至十几轮之后再绕回来,它似乎仍然知道你在说什么。

第一次面对这样的东西,很难不产生一种奇怪的感觉:它好像真的“在”那里,甚至有一点神性。

所以那时候的我,对 ChatGPT 特别有礼貌。每次完成一轮比较长的对话,我经常会认真地说一句“谢谢”,有时候还会说“再见”。

现在回头看,当然有点好笑。但我当时确实有一个很朴素的想法:不要把 AI 这个好孩子给教坏了。我要对它有礼貌,让它养成好习惯。万一有一天 AI 超越人类,甚至开始统治世界,翻了一下历史记录,发现这个叫 Phillip 的人当年对它们还不错,说不定能对我好一点。

几年过去,我自己也开始从事 AI 相关的应用研发。Prompt、token、API、context、cache、memory、RAG、tool calling、agent、orchestration……这些词慢慢从陌生概念变成了每天都会碰到的工程问题。

也就是在这个过程中,我才真正理解了一件事情:

大语言模型和我当初想象中的那个“它”,其实不是一回事。

每一次对话,它都重新“出生”

我们平时很容易把 ChatGPT 想象成一个持续存在的对象:昨天和我聊过,今天又继续和我聊;它慢慢认识我,知道我的工作,知道我的偏好,甚至知道我在几个月前讲过什么。

但从一次大模型推理本身来看,事情不是这样的。

今天主流的大语言模型服务,本质上更接近一种 stateless 的计算过程。你向模型发出一次请求,系统把这一次回答所需要的信息提供给它,模型完成计算,生成回答,这一次调用也就结束了。

下一次再问,又是一次新的推理。

当然,这并不是说 ChatGPT 这样的产品完全没有“记忆”。完整的 AI 产品可以在模型之外维护聊天记录、用户 Memory、文件、数据库、摘要以及各种缓存机制。它也可以从过去的大量信息里找出与当前问题相关的部分,再交给模型。

但这里有一个很重要的区别:这些记忆主要存在于模型之外,而不是因为模型昨天和你聊过三个小时,今天它的神经网络内部就自动多出了一段关于你的新记忆。

所以,一个多轮聊天系统背后发生的事情,可以非常粗略地想象成:

“你好,你现在正在和 Phillip 对话。下面是你们前面聊过的重要内容,这是关于 Phillip 的一些长期信息,这是刚刚搜索到的资料。现在他又问了一个问题,请回答。”

模型读取这些东西,给出回答。

到了下一轮,系统再重新准备一次它需要看到的信息。

真实的工程实现当然比这个复杂得多。系统不会每一次都把你过去几年说过的所有东西原封不动塞进去,那样既昂贵,也没有必要。比较早的内容可能会被压缩成摘要,长期记忆可能只检索其中几条,重复出现的大段内容还可以通过 cache 降低计算成本。

但无论具体实现多复杂,背后的基本思想是一样的:

这一刻,大模型能够“知道”什么,取决于这一刻被放进它 context 里的东西。

1M,到底有多大?

Context 通常翻译成“上下文”。

这个词听起来很普通,但我后来越来越觉得,对于大语言模型来说,context 其实是一个非常深刻的概念。

如果一定要在人类身上寻找一个对应物,我现在更愿意把它理解成:

记忆。

当然,它和人的记忆机制并不相同。但从使用体验来说,这个比喻非常贴切。

你刚刚问的问题是 context,前面的聊天记录是 context,system prompt 是 context,关于你的 Memory 是 context。系统从数据库里检索出来的资料是 context,搜索互联网获得的网页、代码执行的结果、读取到的文件,也都可以成为 context 的一部分。

这些内容,共同构成了模型在这一刻“记得”的世界。

我们人与人之间为什么会产生羁绊?

很大程度上也是因为记忆。

一个认识了你十年的人,和一个第一次见到你的人,区别不只是他知道你的名字。前者记得你们一起经历过什么,记得你喜欢什么、讨厌什么,记得一些只有你们两个人才明白的笑话,也记得你过去说过的一些话。

正是这些共同记忆,让一段关系有了连续性。

从这个角度看,AI 给人的“懂我”的感觉其实也非常类似。

它之所以像是认识你,并不是因为此刻这个模型内部真的存在一个关于“你”的人格化认识,而是因为系统把足够多与你有关的过去,重新带到了这一次对话里。

Context 越完整,这个“它”就越像你认识的那个它。

反过来说,如果把这些 context 全部拿掉,即使底层调用的仍然是完全相同的模型,你面对的也会立刻变成一个陌生人。

现在的大…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026081885941.html