AI工程范式的跃迁,一文讲透Context Engineering!



上一篇《Agent全面爆发!一文搞懂背后的核心范式ReAct!》介绍了 ReAct 如何通过“思考→行动→观察”的 TAO 循环,让 LLM 从静态答题机变成能主动使用工具的智能体。 本文接续那篇的话题,分析 ReAct 在长任务中的上下文盲点,并由此引出 Context Engineering——一个专门为解决这一问题而生的全新范式。




01



引言:从 Prompt Engineering → ReAct → Context Engineering 的演进


这三个范式的演进,是 AI 应用复杂度提升的必然结果。理解这条演进路线,才能真正理解 Context Engineering 为什么不可缺少。


   1.1 第一阶段:Prompt Engineering


2020 年,GPT-3 的发布让大众第一次意识到:只需要在输入里描述任务,模型就能输出相当好的结果。但结果的好坏,对措辞极其敏感。“请写一篇关于 AI 的文章”和“请用面向初学者的通俗语言,写一篇 800 字的关于大语言模型工作原理的科普文章”,产出质量天差地别。


于是工程师们开始研究:如何写出让模型“最听话”的提示词?这就是 Prompt Engineering 的核心问题。它催生了 Zero-shot、Few-shot、Chain-of-Thought 等大量技术,这些方法有一个共同点:它们都在优化“单次 LLM 调用”——写好一条输入,获得一条更好的输出。这在单轮任务里非常有效,但“单轮”是它的硬边界。


   1.2 第二阶段:ReAct 范式


2022 年,普林斯顿和 Google 的研究团队提出了 ReAct 范式。它解决了一个 Prompt Engineering 解决不了的问题:如何让 LLM 主动使用外部工具、动态获取信息、分多步完成复杂任务。ReAct 定义了“思考 → 行动 → 观察”(Thought → Action → Observation)的闭环循环:

示例:用户请求“查询明天从深圳到海南最便宜的晚班机票并预订”


Thought:“我需要先查明天深圳到海南的晚班航班,再找最便宜的。”


Action:flight_search(from=“深圳”, to=“海南”, date=“明天”, time=“晚上”)


Observation:“查到 3 班:HU7089(20:15,480元)/ CZ6753(21:30,620元)……”


Thought:“HU7089 最便宜,480元。接下来预订这班。”


Action:flight_book(flight=“HU7089”, passenger=“张三”)


Observation:“预订成功。订单号:ORD20260817001”


Final Answer:“已为您预订 HU7089(20:15,480元),订单号 ORD20260817001。”


ReAct 是一个巨大的进步——它让 LLM 从“静态答题机”变成了“能动手的助理”。但 ReAct 的设计核心是行动逻辑(如何决策和调用工具),对“做的过程中上下文如何管理”几乎没有显式规定。


⚠ ReAct 的隐患


每一轮的 Thought / Action / Observation 都会追加到上下文里,在一个 20 步、30 步、50 步的复杂任务里,上下文会越积越大。


ReAct 解决了“做什么”,但没有解决“管什么信息”。


   1.3 第三阶段:Context Engineering


2025 年,当 AI 工程从“Demo Agent”走向“生产级 Agent”,工程师们集体撞上了同一堵墙:任务轮次增加后 Agent 开始“忘记”最初设定的规则;工具返回值越来越多,有用信息被淹没;系统提示写得再好,也扛不住上下文被“稀释”的侵蚀。


这时候,三位业界顶尖人物几乎同时给出了诊断:

“我越来越喜欢用 context engineering(上下文工程)这个词,而不是 prompt engineering。它更准确地描述了这项技能:在上下文窗口中精心填充恰当的信息——指令、少样本示例、工具、状态、历史,以及其他一切——来完成任务。”

—— Andrej Karpathy,X Platform,2025 年 7 月

“在 AI 时代,使用人工智能的核心技能在于上下文工程——理解 LLM 的能力边界,知道如何构建相关背景、信息和工具,让任务得以完成。”

—— Tobi Lütke,Shopify CEO,内部备忘录,2025 年 4 月

“现在大多数 Agent 的失败已经不再是模型的失败,而是上下文的失败(Most agent failures are not model failures anymore, they are context failures)。”

—— Philipp Schmid, The New Skill in AI is Not Prompting, It's Context Engineering, 2025 年 6 月


Philipp Schmid 给出的定义,与 Anthropic“策展 · 最优 · 演化”的定义相互补充,从另一个角度强调了“动态”和“时机”:

“Context Engineering 是设计和构建动态系统的学科,其目标是在正确的时机、以正确的格式,向 LLM 提供正确的信息和工具,使其能够完成任务。”

—— Philipp Schmid, The New Skill in AI is Not Prompting, It's Context Engineering, 2025 年 6 月


同年 6 月,Philipp Schmid 发表了广为传播的《The New Skill in AI is Not Prompting, It's Context Engineering》;9 月,Anthropic 工程团队正式发表《Effective Context Engineering for AI Agents》,系统阐述了这一范式。本文以 Anthropic 的文章为主要参考,结合认知科学理论(CoALA 框架)、NLP 实证研究(Lost in the Middle)以及 Anthropic 更早期的《Building Effective Agents》一文,构建一份完整、可实践的 Context Engineering 知识体系。


   1.4 三个阶段的完整演进图


表 1 Prompt Engineering、ReAct、Context Engineering 三个范式的演进对比


💡 重要理解


这三个范式不是替代关系,而是叠加关系:Context Engineering ⊇ ReAct ⊇ Prompt Engineering。


Context Engineering 包含了 Prompt Engineering 的技巧(如何写好系统指令),也包含了 ReAct 的工具调用模式,并在此基础上增加了整个信息生命周期的管理维度。




02



什么是 Context Engineering


   2.1 Anthropic 的核心定义


“Context engineering is the art and science of curating what will go into the limited context window from that constantly evolving universe of possible information.”

—— Anthropic, Effective Context Engineering for AI Agents, Sep 2025


这个定义字字有深意,拆开来看有三个关键词:


▸ 关键词一:策展(Curating)

“策展”意味着主动选择和剪裁,而不是被动堆砌。就像一位博物馆策展人,不会把仓库里所有的文物都摆出来——他会精选那些能讲好故事的展品。Context Engineering 要求工程师像策展人一样,主动决定哪些信息进入上下文、以何种形式进入、放在什么位置。


▸ 关键词二:最优(Optimal)

“最优”不是“最多”,而是“信噪比最高”。最优的 Token 集合是:以最少的 Token 数量,传递最关键的信息,使模型能做出最准确的下一步决策。加入一个无关的 1000 Token 文档,可能反而会降低模型的表现——因为它稀释了真正有用信息的信号。


▸ 关键词三:演化(Ever-evolving)

“演化”揭示了 Context Engineering 与 Prompt Engineering 最本质的区别:上下文不是一次性写好的静态文本,而是随着每一轮工具调用、每一次新的用户输入、每一步环境变化而动态更新的。Context Engineering 是一个持续进行的过程,在 Agent 运行的整个生命周期内持续发生。


表 2 Prompt Engineering 与 Context Engineering 的对比


图 1 Prompt Engineering 与 Context Engineering 的信息处理流程对比


这张图非常直观地呈现了上表的三行对比:左侧 Prompt Engineering 的上下文窗口只有“System prompt + User message”两块内容,一次性写好、一次性用完;右侧 Context Engineering 则要从一个庞大的“可能的上下文候选池”(文档、工具、记忆文件、知识库、消息历史……)中,经过Curation,精选出真正需要的一小部分放入上下文窗口。


   2.2 LLM 的信息架构:上下文窗口就是工作内存


理解 Context Engineering,首先要理解 LLM 的信息处理方式。Andrej Karpathy 提出了一个被广泛引用的类比:可以把现代 LLM 理解为一种全新的“操作系统”(LLM OS),它重新定义了计算机各组件的对应关系:

表 3 LLM 操作系统(LLM OS)与传统计算机的类比


⚠ 关键认知


LLM 在每次推理时,只能“看到”当前上下文窗口里的内容。无论模型权重里储存了多少知识,只要相关信息没有出现在上下文窗口里,对当次推理而言,那个信息就“不存在”。


这也意味着:Context Engineering 就是 LLM OS 的“内存管理”。优秀的内存管理不是把所有数据都塞进 RAM,而是在正确的时机把正确的数据调入 RAM,不用的数据及时换出。


   2.3 Token:Context Engineering 的计量单位


LLM 不是按字或字符处理文本的,而是先将文本切分成 Token,再进行计算。英文文本大约 1 Token ≈ 4 个字符;中文文本大约 1 Token ≈ 1.5~2 个汉字。


表 4 常见文本长度对应的 Token 数量估算


这些数字意味着什么?一个“大型代码库审查”任务,仅 10 轮对话 + 5 次文件读取,就可能消耗 30,000~50,000 Token。更关键的是:上下文窗口大 ≠ 性能好,Token 越多不等于越好。


   2.4 CoALA 框架:认知科学视角的记忆架构


普林斯顿大学 Sumers、Yao 等人(2024)在 TMLR 发表的 CoALA 论文(Cognitive Architectures for Language Agents),借鉴认知科学的记忆理论,为语言智能体的信息架构提供了一个系统性框架。CoALA 将语言智能体的记忆分为“工作记忆”和三类“长期记忆”:


表 5 CoALA 框架中的记忆类型与工程实现对照


CoALA 对 Context Engineering 的核心启示是:不同类型的信息应该用不同的存储和检索方式管理。上下文窗口(工作记忆)只应该存放当前任务所必须的内容;其他信息应该存在外部的长期记忆中,在需要时精准检索。




03



核心思想:信息的精准供给 vs 信息的堆砌


很多工程师的直觉是:“既然上下文窗口很大,那就把所有相关的东西都放进去,信息越多越好。”这个直觉是错误的。以下三个经过实验验证的物理约束,解释了为什么,三者的汇总对比见本章末尾的表格。


   3.1 Lost in the Middle:信息的位置决定它被“看见”的概率


斯坦福大学 Nelson F. Liu 等人于 2023 年发表论文《Lost in the Middle: How Language Models Use Long Contexts》(arXiv:2307.03172,TACL 2024),成为 Context Engineering 领域最重要的实证研究之一。


实验设计:给 LLM 提供 10~20 个文档,其中只有一个文档包含正确答案,系统地改变这个答案文档在上下文中的位置,测量 LLM 的正确率。结果呈现一条清晰的 U 型曲线:当答案文档位于开头或结尾时,正确率约 75%;当被夹在中间时,正确率可能下降到 35% 左右。


图 2 改变答案文档在输入上下文中的位置,导致模型正确率呈 U 型曲线


原论文给出的这条曲线极具说服力:图中红色虚线是“闭卷”(closed-book,即完全不提供任何文档,纯靠模型自身知识回答)时的正确率基线(56.1%)。当正确答案文档被放在上下文“中间”位置时,模型的开卷(open-book)正确率甚至低于什么都不给它看的闭卷基线。也就是说,此时“塞给模型更多信息”反而变成了负贡献,这是对“信息越多越好”这一错误直觉最有力的反证。


表 6 Lost in the Middle:答案文档位置与模型正确率

图 3 多文档问答任务中,答案位置对不同模型正确率的影响


实验结果表明,U 型曲线不是某个模型的个例,而是在 claude-1.3、gpt-3.5-turbo(含 16k 长窗口版本)、mpt-30b-instruct、longchat-13b-16k 等多种不同架构、不同厂商的模型上都稳定复现的普遍规律,且文档总数从 10 篇增加到 30 篇后,中间区域的性能坍陷会更加明显。


为什么会这样?这与 Transformer 的注意力机制密切相关。模型在训练时接触的长序列数据远少于短序列数据,导致模型在处理长上下文时,对中间位置内容的注意力权重相对较弱;人类写作中重要内容常在开头或结尾的序列性特征,也被模型“学会”了。


✓ 实践规则


规则 1:最重要的系统级指令放在 System Prompt 的开头(利用首因效应)

规则 2:当前任务最关键的约束条件放在用户消息的结尾(利用近因效应)

规则 3:检索到的文档放在上下文中时,最相关的一个放第一位或最后一位

规则 4:避免把关键规则夹在大量工具调用记录的中间


   3.2 Context Rot:上下文腐化——越长越糟糕的真相


“研究表明,随着上下文 Token 数量增加,模型准确召回上下文信息的能力线性下降。虽然不同模型降级程度不同,但这一现象在所有模型中普遍存在。”

—— Anthropic, Effective Context Engineering for AI Agents, 2025


一个具体例子:假设你在开发一个 Go 代码重构 Agent,第 1 轮设定了规范——变量名用 camelCase、错误变量统一命名为 err、函数不超过 50 行。第 1~10 轮 Agent 严格遵守。但到了第 40 轮,上下文里已经累积了 39 轮对话历史、20 次文件读取的完整内容、15 次编译错误日志、10 次测试运行结果,合计数万 Token。你最初设定的规范早已被淹没到“中间地带”。Agent 开始生成 snake_case 变量名——不是因为它“忘了”指令,而是因为规范的信号被大量无关内容稀释了,注意力权重下降到难以起作用的程度。


这就是 Context Rot:它不是崩溃,而是慢性退化。在长任务中,不主动管理上下文,Agent 质量会持续下滑。


   3.3 Attention Budget:O(n²) 的注意力代价


LLM 基于 Transformer 架构,其核心是“自注意力”(Self-Attention)机制:让上下文中的每一个 Token 都与其他所有 Token 进行“交互计算”。这导致了 O(n²) 的计算复杂度——n 个 Token 需要计算 n×n 个注意力分数。


表 7 上下文长度与注意力计算量的关系


增加上下文长度不只是“计算量”的问题,它带来三重代价:计算代价(推理速度下降)、延迟代价(用户等待时间增加)、金钱代价(大多数 LLM API 按 Token 计费)。更重要的是,更长的上下文并不一定带来更好的推理质量——训练数据中短序列远多于长序列,当上下文超过一定长度后,有效信息被大量无关 Token 稀释,模型的注意力被分散,整体质量可能反而下降。


⚠ 重要原则


注意力是稀缺资源。每一个进入上下文的 Token 都在消耗注意力预算,增加无关内容不是中性操作,而是主动损害有效信息的信号强度。


   3.4 三大约束总结与两种策略对比


上述三个约束——Lost in the Middle、Context Rot、Attention Budget——彼此独立却相互加强,汇总对比如下表所示。


表 8 三大物理约束的现象、成因与工程对策汇总


表 9 信息堆砌策略 vs 信息精准供给策略(Context Engineering)


💡 核心公式


最优上下文 = 最小 Token 数量 × 最高信噪比




04



Context 的七类构成要素


“要理解 Context Engineering,我们必须先扩展对“上下文”的定义。它不仅仅是你发给 LLM 的单一提示词,而应被视为模型在生成回复之前所看到的一切内容。”

—— Philipp Schmid, The New Skill in AI is Not Prompting, It's Context Engineering, 2025 年 6 月


进入 LLM 上下文窗口的所有信息,本文采用 Philipp Schmid 提出的七类要素划分法进行系统化拆解:Instructions / System Prompt(系统指令)、User Prompt(用户提示词)、State / History(状态与历史,短期记忆)、Long-Term Memory(长期记忆)、Retrieved Information(检索信息,RAG)、Available Tools(可用工具)、Structured Output(结构化输出)。清晰认识每个要素的特性,是做好 Context Engineering 的前提。


表 10 Context 七类构成要素总览


▸ 一个例子:为什么“简陋 Demo”和“神奇产品”的差距不在代码,而在上下文


Philipp Schmid 在原文中给出了一个非常直观的对比:假设一个 AI 助理收到一封邮件——“Hey, just checking if you're around for a quick sync tomorrow.”,要求它帮忙安排会议。


❌ 简陋 Demo Agent——上下文极度匮乏


它能看到的上下文只有用户的这句请求,没有其他任何信息。


代码完全能跑通(调用 LLM 并拿到回复),但输出生硬机械:“Thank you for your message. Tomorrow works for me. May I ask what time you had in mind?”


问题:没有解决任何实际问题,还需要用户再回复一轮告知具体时间。

✅ 神奇产品 Agent——调用前主动“收集”四类上下文


a. Long-Term Memory:日历信息(显示“明天排满了”)

b. Retrieved Information:与这位联系人的过往邮件往来(据此判断该用非正式语气)

c. Long-Term Memory:联系人列表(识别出对方是重要合作伙伴)

d. Available Tools:send_invite / send_email 工具


输出:“Hey Jim! Tomorrow's packed on my end, back-to-back all day. Thursday AM free if that works for you? Sent an invite, lmk if it works.”——不仅语气得体,还直接给出可行方案并发出了邀请。


这个例子里,代码的职责发生了根本转变:不再是“想办法回复”,而是“收集 LLM 完成目标所需的信息”。下面逐一展开这七类要素的设计原则。


   4.1 Instructions / System Prompt(系统指令):定义 Agent 的基本盘


系统指令是上下文中最稳定、最持久的部分,定义了 Agent 的角色、原则和行为边界,相当于整个 Context Window 的“宪法”。


▸ Goldilocks Zone:最优的描述粒度

Anthropic 的文章提出了“Goldilocks Zone”(适中区间)概念——系统指令的描述粒度既不能过于精细,也不能过于宽泛。下面用一个金融客服 Agent 的例子说明三种情况的差别:

❌ 太精细——脆性指令(枚举式规则,维护成本极高)


如果支付方式=信用卡 AND 错误码=E001 → 回复:您的信用卡被银行拒绝……


如果支付方式=信用卡 AND 错误码=E002 → 回复:您的信用卡余额不足……


如果支付方式=微信 AND 用户状态=正常 → 先查订单再……


……(此类规则列了 180 条)


问题:①维护成本极高,每新增场景都要改指令 ②遇到未覆盖场景 Agent 不知如何处理 ③大量规则消耗 Token 且多数永远用不到

❌ 太宽泛——空洞指令(零实质约束)


你是一个有帮助的客服助手。请专业地处理用户问题。


问题:①没有实质性指导,LLM 自由发挥 ②无法保证行为一致性 ③敏感场景(退款、投诉)可能做出不恰当决策

✅ Goldilocks Zone——原则性指令(适中、高效)


## 角色:你是 XYZ 金融的客服助手,专注处理支付和账户问题。


## 核心原则:先确认用户情绪,再给解决方案;涉及资金安全(如疑似盗刷)立即升级人工,不自行决策;不承诺具体赔偿金额,只说明流程;需要查订单才回答,不凭猜测回答。


## 工具使用原则:query_order 查订单状态,query_account 查账户状态,两者不可混用,不确定时先问用户。


优点:①提供明确原则但不枚举所有场景 ②对高风险行为设置明确边界 ③Token 消耗合理,维护成本低 ④遇到未知场景能根据原则推理出合理行为


图 4 System Prompt 校准光谱:从“太具体”到“太模糊”


Anthropic 原文用的是“面包店客服 Agent”的例子,把上面三种情况画成了一条从“Too specific”到“Too vague”的连续光谱,“Just right”落在中间的绿色区间——与我们上面用“金融客服 Agent”举的三个例子(太精细 / 太宽泛 / Goldilocks Zone)说明的是完全同一个原理。这条光谱图的价值在于:它提示我们 Goldilocks Zone 不是一个固定的“标准答案”,而是需要工程师在“规则的确定性”和“场景的泛化性”之间,针对每个具体业务场景反复校准(Calibrating)出来的一个动态平衡点。


结构化技巧:Anthropic 建议使用 XML 标签或 Markdown 标题对系统指令分区(如 ## 角色、## 核心原则、## 工具使用),让 LLM 能快速定位不同类型的指令,也让维护者能精准修改某一模块。位置原则:最重要的约束(如安全限制)放在系统指令开头的第一段,利用首因效应。


   4.2 User Prompt(用户提示词):当下这一刻真正想要什么


philschmid 把 User Prompt 单独列为一类要素,定义是“用户当下提出的直接任务或问题”。它跟Instructions 有本质区别:Instructions 是“稳定的、跨会话复用的规则”,而 User Prompt 是“当次交互特有的、动态变化的具体请求”——前者回答“Agent 是谁”,后者回答“这一刻要做什么”。


User Prompt 的设计要点看似简单,实际上有三条容易被忽视的原则:

  • 清晰、无歧义——好的 User Prompt 应该像 4.2 节开头的邮件示例那样直接明确;如果用户输入天然模糊(如“帮我看看这个”),Agent 的首要动作应该是澄清,而不是猜测后直接执行。
  • 结构化拆分复杂请求——当一次输入包含多个子任务时,用 XML 标签或编号把不同子任务分开呈现,能显著降低模型“漏做一项”的概率。
  • 关键约束放在结尾 —— Lost in the Middle 的近因效应:如果 User Prompt 很长(比如粘贴了一大段背景资料),最关键的那句要求应该放在最后,而不是埋在开头或中间。


值得注意的是:User Prompt 和 Instructions 共同构成了本文第 2.1 节图 1 中“Prompt Engineering”阶段唯一关心的两块内容(System prompt + User message)。Context Engineering 的进步之处,正是在这两块之外,还系统化地管理了下面五类要素。


   4.3 State / History(状态 / 历史):短期记忆,增长最快也最难管理


philschmid 对这一要素的原文定义是“当前对话内容,包括导致此刻发生的用户与模型历次回应”——也就是通常所说的“短期记忆”(short-term memory)。它让 Agent 具备“上下文连贯性”,知道之前说了什么、做了什么。但它也是上下文增长最快的部分,是 Context Rot 的主要来源。


▸ 对话历史增长有多快?

以一个代码重构 Agent 为例,估算上下文增长速度(这一增长模式与第 7 章讨论 ReAct 循环时的累积规律高度相似):

表 11 代码重构任务中对话历史的 Token 增长速度估算


▸ 三种历史管理策略(递进选择)

  1. 滑动窗口(Sliding Window)——只保留最近 N 轮原始对话,实现简单直接,但会彻底丢弃更早的信息,适合短中期、对早期细节依赖弱的任务。
  2. Context Compaction(上下文压缩)——定期用 LLM 将历史对话摘要为结构化摘要,保留关键信息、丢弃冗余细节,适合中长期任务(详见第 5 章 5.1)。
  3. Structured Note-Taking(结构化外部化)——将关键信息主动“卸载”到上下文窗口之外的持久化存储,理论上支持无限长的任务(详见第 5 章 5.2)。


这三种策略是递进关系:滑动窗口最简单但信息损失最大;Compaction 用摘要保留关键信息;Structured Note-Taking 则把信息管理完全移出上下文窗口本身。生产级…

— 以上为试看内容(约 40%),开通会员后阅读全文 —