CodeGenius Memory:构建面向代码生成的可控上下文系统


本次 Memory 系统重构是一次面向 AI Agent 未来演进的上下文工程升级——通过结构化、压缩与抽象机制,让模型在有限上下文预算下更高效地维持任务理解、目标对齐与推理连贯性。

上下文膨胀带来的新瓶颈

随着模型能力的快速提升,代码类产品的形态正在从传统 Chatbot 向更加自主、可执行多步任务的 AI Agent 转变。Agent 不再只处理简单问答,而是需要:

  • 分析用户需求;

  • 读取多个文件并理解整个项目;

  • 调用不同工具生成结构化结果;

  • 多轮推理、修改、验证中间产物;

  • 在长流程中保持一致的任务状态;

这使得模型的上下文规模呈指数级膨胀。文件内容、构建日志、多轮工具输出、任务中间状态、先前讨论……这些都逐步挤进了 Prompt,使得原本相对可控的短对话场景,变成了复杂的多源异构大上下文输入。结果非常直接:

  • 模型需要处理更长的 Token → 推理时延增加,成本上升;

  • 有效信息被噪声淹没或被截断 → 输出质量下降;

  • Agent 在长流程中“忘记”关键上下文 → 任务失败率上升;

换句话说,模型能力的提升并不能弥补上下文结构的混乱,反而会让模型在面对冗余输入时显得束手无策。因此,当产品从 Chatbot 进化为 AI Agent 后,模型本身不再是唯一瓶颈,上下文工程开始成为系统性能与体验的核心约束。

CodeGenius Memory 的设计与演进

早期 CodeGenius 采用了固定窗口来管理上下文,我们只保留最近 5 轮的完整对话,这种策略在产品早期非常简单有效,但随着编码任务越来越复杂,该方案面临着 3 个主要问题:

  • 上下文断裂:复杂任务往往需要超过 5 轮对话才能完成,固定截断会导致前面的重要信息丢失,模型“忘记”用户的原始意图。

  • 缓存失效:每次截断都会改变 Prompt 的内容,导致之前的缓存无法复用,需要重新进行完整推理,增加了推理成本和延迟。

  • 冗余信息干扰:长对话中会积累大量重复引用的文件内容,以及早已过时的工具调用结果。这些无效信息不仅占用 Token 额度,还会干扰模型判断,降低代码生成质量。

随着项目规模扩大,需求越来越复杂,这种固定窗口机制已不再适用。因此,我们为 CodeGenius 构建了一个新的 Memory 系统,使其能够在长任务、长对话、多文件、多工具的复杂场景下:

  • 控制上下文规模

  • 保留关键语义

  • 提升模型稳定性

  • 降低成本与延迟

  • 让 Agent 能够真正连续执行任务

这便是 CodeGenius Memory 重构工作的起点。

Memory 真正的难,是“取舍”

在调研过程中,我们很快意识到 Memory 不是单纯“把更多信息塞进去”,而是如何取舍。这里主要的挑战包括:

  • 如何识别上下文中冗余、过期的内容,并尽可能在不影响缓存的前提下移除这些内容;

  • 何时对上下文进行压缩并保留上下文中关键的技术细节、架构决策和遗留问题。

这两类挑战都指向一个共同问题:上下文必须被结构化管理,因此我们设计了一套分层的 Memory 优化框架,让系统在每一次对话前,先把上下文“整理打包”一遍,再交给模型。

整体流程

方案的核心是三件事:

优化方案遵循「输入 → 整理 → 压缩 → 生成」流程,核心目标是保持上下文稳定性,以提高提示词缓存命中率,同时通过分层处理保证跨轮次连续性。

关键机制设计

卸载过时信息

当和模型进行多轮对话后,历史消息中的很多信息其实是冗余的,比如实现上个目标而查看/编写的代码,已经使用过的组件文档等等。这些过时的内容占用着大量的 Token,增加成本和延迟的同时还会干扰模型的注意力分配,使推理行为偏离当前目标。

因此,我们对 5 轮对话之前的工具出入参进行了卸载,将这些信息从 LLM 上下文中移除并存储到文件当中,留给模型的只有文件路径和提示信息,后续需要时可以重新读取文件内容查看或者通过 grep 获取关键信息。

因为卸载信息并不是 append-only 的模式,需要对历史消息进行修改。如果 5 轮对话后,每次都进行卸载会导致缓存持续失效,反而得不偿失。为了尽可能保持上下文的稳定性,我们对卸载设置了 batch size,每过 5 轮进行一次卸载,这样既有效移除了过时信息,同时也享受到了缓存带来的成本和延迟的降低。

Claude 系列模型读取缓存的 Token 价格是正常的 0.1 倍,创建缓存的价格是正常的 1.25 倍。

文件去重和摘要生成

文件类内容在上下文中往往是最大开销来源,当多轮对话中一直挂载着同一个文件,如果每次都带着最新的文件内容给模型会导致上下文膨胀得很快。现在的模型已足够智能,模型能够根据文件原始内容和编辑路径推断出最新的内容。因此,我们的策略是:遵循 append-only 的模式,只在第一次添加文件时带上完整代码,后续只在手动编辑代码后提供 diff 内容,其他情况都只提供文件路径,不再附带内容。

除此之外,我们还发现有时一个大文件就占据了大部分模型上下文,但对这次需求来说,其中大部分内容都是无效的,真正关键的代码只有几行。为了解决这个问题,我们在检测到文件过大时(文件大于 3000 行)利用 tree-sitter 对文件进行了压缩,生成了只包含类型定义、变量和函数签名等重要信息的摘要。有了带行号的摘要,模型会在需要时缩小查看范围,只读取其中的关键内容。

代码摘要示例

...64|interface RuleNode {65|  title: string;66|  key: string;67|  hitRate: number;68|  totalCases: number;69|  hitCases: number;70|  nodeType: NodeTypeEnum | 'logicGroup';71|  logicType?: 'AND' | 'OR';72|  isLeaf?: boolean;73|  children?: RuleNode[];74|}75|76|interface StrategyInsightProps {77|  strategyCode?: string;78|  strategyName?: string;79|  /** 来源标识,用于控制实时流量分析tab的显示 */80|  source?: 'scenario-operation' | 'default';81|}82|83|exportconst StrategyInsight: React.FC<StrategyInsightProps> = ({84|  strategyCode: propStrategyCode,85|  strategyName: propStrategyName,86|  source,87|}) =>...190|  const copyToClipboard = async (text: string): Promise<boolean> =>...405|  const processCandidateStrategies = () =>...721|  const convertTrafficDataToRuleTree = (722|    node: TrafficAnalysisNodeVO,723|    parentKey = '',724|    index = 0725|  ): RuleNode =>...769|  const getAllNodeKeys = (nodes: RuleNode[], maxLevel: number = 1): string[] =>771|    const traverse = (nodeList: RuleNode[], currentLevel = 0) =>...791|  const handleStrategyTypeChange = (value: StrategyTypeEnum) =>797|798|  const handleStrategyCodeChange = (value: string) =>805|806|  const handleRuleCodeChange = (value: string) =>812|813|  const handleDateChange = (date: Moment | null) =>817|818|  const handleExecutionModeChange = (mode: ExecuteTypeEnum) =>...824|  const handleQuery = () =>...835|  const handleRealtimeStartTimeChange = (date: Moment | null) =>838|839|  const handleRealtimeEndTimeChange = (date: Moment | null) =>842|843|  const handleRealtimeDataLimitChange = (value: number | null) =>...

这就像只告诉模型一本书的目录,而不是全文,让模型按需获取相关内容。通过这种方式,在上下文有限的情况下,完美解决了大文件无法一次性加载到模型上下文的问题。

动态对话摘要

即使已经通过卸载、去重和结构摘要等手段显著降低了上下文体积,上下文仍会随着对话轮次的增长不断膨胀。对于需要多轮对话的复杂任务来说,如果不主动清理上下文,迟早会触及模型的最大窗口,导致成本上升、推理变慢,甚至模型无法继续工作。

因此,我们为 CodeGenius 设计了一套能够根据上下文状态动态触发的对话摘要机制,用于在关键时刻“折叠历史”,确保 Agent 始终在可控范围内运行。

摘要生成部分我们直接使用了 Claude Code Compact 的提示词,该提示词会让模型生成一份极其详细、结构化的对话总结,总结会包含九个结构化部分:

  • Primary Request and Intent: 重点描述用户在对话中的主要目标、核心需求和明确意图• Key Technical Concepts: 列出整个对话涉及的重要技术点、框架、工具、概念等;

  • Files and Code Sections: 记录讨论或修改过的具体文…

— 以上为试看内容(约 40%),开通会员后阅读全文 —