Harness 与 Agent 工程 · 上下文与记忆 · 2026-07-06

长上下文方案对比:一文讲清从 RAG、KV Cache 到百万上下文的工程取舍

长上下文不仅是模型窗口的扩展,更是一套复杂的系统工程,涉及从信息组织到成本控制的全链路优化。

核心内容:

  1. 长上下文的核心矛盾与典型应用场景
  2. 五类主流技术方案的组合分层
  3. 直接使用长窗口模型的利弊分析

长上下

长上下文不是“把窗口拉大”这么简单,而是在输入组织、注意力计算、KV Cache、检索召回、记忆压缩和成本控制之间做系统设计。

过去一年,长上下文几乎成了大模型产品的标配卖点:128K、200K、1M token 甚至更长。很多团队的第一反应是:既然模型窗口变大了,是不是可以直接把所有文档、聊天记录、代码仓库、数据库字段都塞进去?

真实情况往往相反。上下文越长,问题越复杂:费用上涨、首 token 延迟变高、KV Cache 爆显存、注意力稀释、关键信息被淹没,甚至模型开始“看过但没用上”。

这篇文章用一条主线梳理长上下文方案:它不是单一模型能力,而是一套从数据进入、信息筛选、上下文组织、推理执行到结果校验的完整工作流。


1. 先建立直觉:长上下文到底在解决什么?

长上下文通常不是为了“读更多字”,而是为了让模型在一次任务里拥有更多可用信息。

典型需求有四类:

但长上下文的核心矛盾是:输入越多,不等于有效信息越多;上下文越长,不等于答案越准。

可以把一次长上下文任务拆成下面的数据流:

长上下文系统真正要优化的,不是“能塞多少 token”,而是这条链路里每一步的信噪比、延迟、成本和稳定性。


2. 五类主流方案:不是互斥,而是分层组合

长上下文方案大致可以分成五类:

如果只看产品层,大家会讨论“模型支持多少上下文”。但如果从工程层看,至少要同时回答五个问题:

问题 对应方案 核心指标
信息太多放不下 RAG、压缩、长窗口 召回率、覆盖率
放得下但太贵 压缩、缓存、路由 每次请求成本
放得下但太慢 KV Cache、分页调度、分块预填充 TTFT、吞吐
模型看过但没用 重排、结构化上下文、引用约束 答案准确率
历史状态越来越长 记忆系统、状态提取 可持续对话轮数

3. 方案一:直接使用长窗口模型,最简单但不一定最经济

直接长窗口模型是最容易理解的方案:把更多内容直接塞进 prompt,让模型自己在长上下文里找答案。

它的优势很明显:

但它的问题也很现实:

直接长窗口适合“信息本身高度相关、任务要求全局阅读”的场景;不适合“信息海量但只有少量相关”的场景。


4. 方案二:RAG,先找再读,是长上下文应用的默认底座

RAG 的核心思想是:不要把所有内容都交给模型,而是先从知识库里找出最相关的片段,再放进上下文。

RAG 的价值在于把长上下文问题变成“信息筛选问题”:

但 RAG 不是银弹。它最容易失败在三处:

    1. 切分失败:chunk 太小丢语义,太大召回不准。
    1. 召回失败:正确答案根本没进上下文。
    1. 重排失败:召回到了,但排序靠后,被截断或淹没。

所以高质量 RAG 往往不是“向量库 + TopK”这么简单,而是混合检索、查询改写、重排、结构化拼接和引用校验共同工作。


5. 方案三:上下文压缩,把 token 预算花在刀刃上

当上下文很长但又不能完全丢弃时,可以先压缩再推理。

压缩不是简单摘要,而是针对任务保留有用信息。

常见压缩方式包括:

压缩方式 适合场景 风险
摘要压缩 会议纪要、长报告、多轮对话 细节丢失
关键词抽取 法务、财务、审计、简历筛选 抽取 schema 设计难
证据选择 问答、代码定位、故障排查 选择器误判
层级摘要 多文档、多章节、多轮任务 误差逐层累积
结构化记忆 Agent、客服、销售跟进 状态更新冲突

上下文压缩的本质是用一个较便宜的步骤,换取后续主模型更高的信噪比。它特别适合 Agent 工作流,因为 Agent 会不断产生工具结果、网页内容、日志和中间推理,如果不压缩,很快就会把上下文撑爆。


6. 方案四:记忆系统,把“历史”变成可管理状态

多轮对话和 Agent 最怕的是上下文无限增长。真正可持续的方式不是把所有历史都保留,而是把历史变成结构化记忆。

记忆系统一般分三层…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026070608674.html