长上下
长上下文不是“把窗口拉大”这么简单,而是在输入组织、注意力计算、KV Cache、检索召回、记忆压缩和成本控制之间做系统设计。
过去一年,长上下文几乎成了大模型产品的标配卖点:128K、200K、1M token 甚至更长。很多团队的第一反应是:既然模型窗口变大了,是不是可以直接把所有文档、聊天记录、代码仓库、数据库字段都塞进去?
真实情况往往相反。上下文越长,问题越复杂:费用上涨、首 token 延迟变高、KV Cache 爆显存、注意力稀释、关键信息被淹没,甚至模型开始“看过但没用上”。
这篇文章用一条主线梳理长上下文方案:它不是单一模型能力,而是一套从数据进入、信息筛选、上下文组织、推理执行到结果校验的完整工作流。
1. 先建立直觉:长上下文到底在解决什么?
长上下文通常不是为了“读更多字”,而是为了让模型在一次任务里拥有更多可用信息。
典型需求有四类:
- • 长文档理解:合同、研报、论文、标准文档、审计材料。
- • 代码仓库理解:跨文件依赖、调用链、历史提交、设计文档。
- • 多轮对话记忆:客服工单、销售跟进、个人助理、Agent 任务状态。
- • 复杂工作流推理:RAG、工具调用、网页浏览、数据分析、多 Agent 协作。
但长上下文的核心矛盾是:输入越多,不等于有效信息越多;上下文越长,不等于答案越准。
可以把一次长上下文任务拆成下面的数据流:
长上下文系统真正要优化的,不是“能塞多少 token”,而是这条链路里每一步的信噪比、延迟、成本和稳定性。
2. 五类主流方案:不是互斥,而是分层组合
长上下文方案大致可以分成五类:
如果只看产品层,大家会讨论“模型支持多少上下文”。但如果从工程层看,至少要同时回答五个问题:
| 问题 | 对应方案 | 核心指标 |
|---|---|---|
| 信息太多放不下 | RAG、压缩、长窗口 | 召回率、覆盖率 |
| 放得下但太贵 | 压缩、缓存、路由 | 每次请求成本 |
| 放得下但太慢 | KV Cache、分页调度、分块预填充 | TTFT、吞吐 |
| 模型看过但没用 | 重排、结构化上下文、引用约束 | 答案准确率 |
| 历史状态越来越长 | 记忆系统、状态提取 | 可持续对话轮数 |
3. 方案一:直接使用长窗口模型,最简单但不一定最经济
直接长窗口模型是最容易理解的方案:把更多内容直接塞进 prompt,让模型自己在长上下文里找答案。
它的优势很明显:
- • 实现简单,不需要复杂检索系统。
- • 适合一次性读完整材料,比如单份合同、单篇论文、单个长报告。
- • 能保留文档全局结构,减少切片丢上下文的问题。
但它的问题也很现实:
- • 成本线性上涨:输入 token 越多,费用越高。
- • 首 token 延迟变高:prefill 阶段要处理完整 prompt。
- • 注意力稀释:关键信息可能被大量无关内容淹没。
- • 上下文位置敏感:模型常见“开头和结尾更强,中间容易丢”的问题。
直接长窗口适合“信息本身高度相关、任务要求全局阅读”的场景;不适合“信息海量但只有少量相关”的场景。
4. 方案二:RAG,先找再读,是长上下文应用的默认底座
RAG 的核心思想是:不要把所有内容都交给模型,而是先从知识库里找出最相关的片段,再放进上下文。
RAG 的价值在于把长上下文问题变成“信息筛选问题”:
- • 海量知识库不必全部进入 prompt。
- • 成本更可控。
- • 可追溯引用更容易做。
- • 知识更新不需要重新训练模型。
但 RAG 不是银弹。它最容易失败在三处:
-
- 切分失败:chunk 太小丢语义,太大召回不准。
-
- 召回失败:正确答案根本没进上下文。
-
- 重排失败:召回到了,但排序靠后,被截断或淹没。
所以高质量 RAG 往往不是“向量库 + TopK”这么简单,而是混合检索、查询改写、重排、结构化拼接和引用校验共同工作。
5. 方案三:上下文压缩,把 token 预算花在刀刃上
当上下文很长但又不能完全丢弃时,可以先压缩再推理。
压缩不是简单摘要,而是针对任务保留有用信息。
常见压缩方式包括:
| 压缩方式 | 适合场景 | 风险 |
|---|---|---|
| 摘要压缩 | 会议纪要、长报告、多轮对话 | 细节丢失 |
| 关键词抽取 | 法务、财务、审计、简历筛选 | 抽取 schema 设计难 |
| 证据选择 | 问答、代码定位、故障排查 | 选择器误判 |
| 层级摘要 | 多文档、多章节、多轮任务 | 误差逐层累积 |
| 结构化记忆 | Agent、客服、销售跟进 | 状态更新冲突 |
上下文压缩的本质是用一个较便宜的步骤,换取后续主模型更高的信噪比。它特别适合 Agent 工作流,因为 Agent 会不断产生工具结果、网页内容、日志和中间推理,如果不压缩,很快就会把上下文撑爆。
6. 方案四:记忆系统,把“历史”变成可管理状态
多轮对话和 Agent 最怕的是上下文无限增长。真正可持续的方式不是把所有历史都保留,而是把历史变成结构化记忆。
记忆系统一般分三层…