Context is all you need:一文彻底搞懂上下文工程(含牛马实战指南)
缘起
最近,“上下文工程(Context Engineering)”这个词汇的热度持续提升,从 Karpathy 发的推文,到 Claude Code 以文件系统为上下文核心,再到 Manus 团队最近的深度实践分享,国内自媒体铺天盖地的分享。给人一种强烈的感觉:上下文工程似乎已经成为 Agent 领域新的“银弹”。
作为AI时代的个体,面对“上下文工程”这个看起来为Agent开发者量身定制的构造Agent的“新技术范式”,觉得那不过是少数人需要掌握的知识,离自己过于遥远。真的是这样吗?
- 到底什么才是“上下文工程”的本质?
- 和提示词工程的关系又是什么?
- 职场牛马需要了解掌握什么相关认知和实践技巧?
- 去年11月份Anthropic推出后便成为事实行业标准的的MCP(Model Context Protocol)协议也叫“模型上下文”,和最近的“上下文工程”到底有什么样的千丝万缕的联系?
要搞清楚这些问题,我们得先回到原点,把“上下文工程”这个词一分为二:(模型)上下文 与 工程。
01 / 什么是模型上下文?
首先,我们需要了解LLM推理的本质,其本质是对一段输入的文本序列进行续写。理解这个本质至关重要,因为一切的模型上下文工程都是围绕如何构建这个输入序列来工作的。
#输入序列
你是谁?
#模型输出序列
我是LLM。
这是一个非常简单的例子,但说明了一个基本的认知:
输入序列 = 模型上下文
普通人日常接触不到模型底层的工作机制,更多的是使用诸如ChatGPT、DeepSeek、元宝、豆包这些AI助理产品。作为用户(User)我们可以干预的模型输入序列叫UserPrompt。
但当我们在这些AI助理产品中提出一个问题时,这个UserPrompt并不是模型底层的输入序列的全部。这些产品就像是一个黑盒的上下文加工厂,会对你的UserPrompt进行各种拼接最终才会把一个比UserPrompt复杂的多的多的完整的输入序列给到模型进行推理。
例如:
# 你输入的
请你扮演一位资深的投资分析师,基于我上传的这份 PDF 财报,总结其核心财务亮点,并评估其潜在的投资风险
# 拼接后给到模型推理的
<|System|>你是一个有用的助理....</|System|>
<|User|>
<file-context>
上传的文件清单:
- 文件名:xxx财报.pdf
- 文件内容:xxxxx
</file-context>
请你扮演一位资深的投资分析师,基于我上传的这份 PDF 财报,总结其核心财务亮点,并评估其潜在的投资风险
</|User|>到这里,我们知道了所谓模型上下文,不仅仅是用户视角的输入,而是更复杂的存在。因此我们需要迭代一下上面的认知公式:
模型底层的输入序列 = 模型上下文
这个上下文构建范式天然把模型上下文分割为两个部分:用户输入上下文、Agent产品动态拼接的上下文。无论是哪个部分,其目的都是为了得到更好的模型回复以便可以解决问题。因此我们可以有一个初步的认知:
模型上下文直接影响模型推理效果
模型上下文普通用户和Agent产品开发者皆可干预
关于模型上下文,我们先粗浅了解至此。接下来我们要回答另外两个问题:
模型上下文从LLM问世就一直存在,为何在2025年当前这个节点,“模型上下文工程”会突然爆火?
提示词工程已死的论断是真相还是危言耸听?
要回答这两个问题,我们需要从上帝视角回顾一下这两年的AI发展的变化。
02 / 从 L1 到 L3:模型上下文的演进之路
OpenAI 曾为 AI 的发展规划了清晰的路线图,从 L1 级的 ChatBot,到 L2 级的 Reasoner,再到 L3 级的 Agent。这条路,也是一部模型上下文技术不断演进的历史。
L1:静态的提示词工程
ChatGPT 问世之初,对话是其核心能力。彼时,我们与 AI 交互的唯一载体就是 Prompt(提示词)。如何把需求描述得更清晰、更精确,成了提升效果的关键。因此,社区涌现出大量的提示词工程技巧与方法论,例如结构化提示词(LangGPT),就是一套帮助我们规范化表达需求的优秀实践。
这个阶段,我们能感知的上下文主要是用户输入,但如前所述,背后还藏着一些“看不见”的部分。总体而言,模型上下文由三部分构成:
1. SystemPrompt:系统级指令,用于设定 AI 的角色、能力边界和行为准则。它通常由开发者预设,对普通用户不可见。 2. UserPrompt:用户输入的指令、问题和提供的信息。 3. HistoryMessage:历史对话记录,确保 AI 能够理解连续对话的语境。
一个典型的 OpenAI ChatCompletions API 调用,清晰地揭示了这种结构:
import openai
client = openai.OpenAI()
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "system", "content": "你是一位专业的软件架构师。"},
{"role": "user", "content": "我需要设计一个高并发的秒杀系统,有哪些关键技术点?"},
{"role": "assistant", "content": "当然。一个高并发秒杀系统需要关注几个核心要点:前端静态化、流量削峰、库存预扣减和数据一致性。"},
{"role": "user", "content": "能具体讲讲流量削峰的实现方案吗?"}
]
)
print(response.choices[0].message.content)这个阶段的上下文管理相对静态,每一次交互都是对这个 messages列表的简单追加。
这个阶段,所谓的提示词工程针对不同的群体干预的上下文内容不同,普通用户可以干预的上下文主要是UserPrompt和可上传的文档附件,对于Agent开发者而言,干预的就是SystemPrompt,并无太多需要再Agent层面动态拼接的逻辑。如下图所示:
因此我把这个阶段叫做静态的提示词工程。
注:
这个阶段还有另外一个动态上下文技术值得一提就是RAG,为了降低认知负担,不再详述。
此外,从时间上看,FuncitonCalling API最早出现在这个阶段,是Agent工具调用技术的最早实现方案。但由于L1阶段模型能力还不够强,Function Calling的可用率不高,基座模型厂商也没有重点优化这块的能力,因此并没有出现类似于Manus、Lovart这样的现象级的Agent产品。
L2:推理模型带来的动态提示词工程
时间来到2024年下半年,随着 O1、DeepSeek-R1 等强大的推理模型出现,行业正式迈入了 L2 时代。所谓推理模型是相对于之前的文本模型而言的。
- 文本模型仿照了人类大脑的“快思考”模式,模型直接给出答案。就像我们回答1+1=几的问题时,不需要经过任何复杂的思考。
- 推理模型则仿照的是人类大脑的“慢思考”模式,模型需要经过一段时间的“思考”过程,再给出答案。就像我们在解一道复杂的数学题一样,需要先拆解步骤,一步步运算,最终才能得到答案。
随着OpenAI的O1模型提出的新的“推理时长”的Scaling Law(扩展原则),在往后的一段时间内模型的推理能力(Reasoning)得到大幅增强,带来的一个显著的变化是:
许多在 L1 阶段奉为圭臬的提示词技巧,如复杂的角色扮演、Few-shot 示例,逐渐被更底层的 CoT(Chain-of-Thought)能力所内化和取代。
这个时期的关键变化,是增加了COT思考过程数据作为模型推理的上下文。像O1这样模型产品还支持内置工具(网页搜索、Computer Use、Code Interpreter等)的使用。 很多Agent产品也增加了很多动态上下文的逻辑:
1. Rag Context:通过检索增强生成(RAG)从知识库中获取的、与用户问题相关的背景知识,动态注入到提示词中。 2. Web Search Context:通过接入网页搜索能力,在用户开启网页搜索开关后,Agent会先调用搜索工具完成相关信息的搜集,再拼接到推理上下文中去。以便获取更丰富更实时的信息 3. Attachment Context:用户上传的文件,如 PDF、图片、代码库等,经解析后成为模型可以理解的文本信息。 4. Tool Context:模型内置工具描述和工具执行结果
此时的 Agent 产品,更像是一个封装了特定工具集的“超级助理”,能有限地动态调用工具来丰富上下文,例如查询最新的天气信息或检索网页,读取文件等,再结合COT的思考数据,可以更精准地理解用户的意图,结合这些上下文模型可以得到更为精准和丰富的回答。
这个阶段的用户输入上下文并没有太大的变化,甚至因为推理模型的特性,输入变得更为简洁。
而Agent层面因为模型工具调用能力和推理能力的提升,可以适应更为复杂的任务,所以Agent后台的上下文获取和拼接逻辑增加了许多动态的逻辑,但因为工具还仅限于有限的几个通用内置工具,因此复杂度处于可控范围内,所以这个阶段我把它叫做动态提示词工程。
L3:动态的上下文工程
时间来到2024年底,随着Claude 3.7等模型在Agentic任务和编程能力上的极大提升,基座模型的 Agentic(智能体)能力实现了质的飞跃。一批如 Cursor、Manus 、Fellou、Claude Code这样的 Agent 如雨后春笋般涌现,Claude Code和Cursor能够自主完成从需求分析到代码实现、再到调试运行的复杂任务。
L3 阶段的范式核心是一个 Agent Loop:模型进行规划、执行工具、观察结果、反思修正,循环往复,直至最终目标达成。
一个复杂的软件开发任务,可能需要运行数小时,执行成百上千次工具调用。这种全新的Agent工作模式,对模型上下文的管理带来了前所未有的挑战。加上2024年11月份MCP协议的发布和出圈,模型拥有了前所未见的可以使用的标准工具套件,正是这些变革催生了真正的“上下文工程”。
此时的上下文类型急剧膨胀,变得高度动态和复杂:
1. SystemPrompt 2. UserPrompt 3. HistoryMessage 4. Rag Context 5. Attachment Context 6. [新增] Planning Todolist:模型生成的、用于追踪任务进度的计划列表。 7. [新增] ToolCalls & ToolResults:海量的工具调用及返回结果。 8. [新增] ReAct Result:模型在每一步执行后的观察(Observation)和反思(Thought)。
因为 Agent Loop 的存在,第 6、7、8 项会反复出现,导致上下文内容暴增。随之而来的,是三个核心的工程难题:
1. 窗口溢出:上下文总长度轻易就突破了模型支持的窗口上限。 2. 成本与延迟:海量 Token 带来了推理成本和响应时间的爆炸式增长。 3. 注意力稀释:在庞杂的上下文中,如何组织信息才能让模型精准捕捉到最关键的部分,避免“大海捞针”?
03 / 什么是上下文工程?
至此,我们可以为“上下文工程”下一个相对严谨的定义了。
所谓上下文工程,其核心本质,是在模型的输入端进行一系列精巧的组织、筛选、压缩和编排,以干预和引导模型的思考路径与输出结果,从而高效、经济、精准地达成使用者目标的方法论与技术实践的总和。
这里的使用者,可以细分为两类:Agent 产品的最终用户,和 Agent 产品的开发者。
A:面向用户的上下文工程
对于普通用户而言,上下文工程已经从单纯的“写提示词”,演变为“组织和连接上下文”。我们不再仅仅是下达命令的人,更像是为 AI 准备“案头资料”的研究员。
以 Claude Code 为例,假设我们要开发一个复杂的系统,比如一个能自动分析 GitHub 项目健康度的机器人。我们不再是写一个空泛的 Prompt,而是会进行一系列的上下文准备工作:
1. 搜集信息:找到 GitHub API 的最新官方文档,了解如何获取 a. star 历史,b. issue 关闭率,c. PR 合并时间等关键指标。 2. 定义规范:撰写一个 Markdown 文档,清晰定义“项目健康度”的评估标准和打分规则。 3. 提供需求:将原始需求文档、API 文档、评估标准文档,同时提供给 AI。 4. 编排任务:最后,用一个“总括性”的 Prompt 将这些上下文串联起来。
# 这是一个示意性的 Prompt
你是一位资深的软件工程师。请遵循以下步骤,为我开发一个 GitHub 项目健康度分析机器人:
1. **理解需求**:阅读我上传的《需求文档.md》,明确机器人的核心功能。
2. **学习 API**:仔细研究《GitHub_API_v4.json》,这是你唯一可以使用的接口。
3. **遵循标准**:严格按照《健康度评估模型.md》中的规则来计算分数。
4…