CodeGenius Memory:构建面向代码生成的可控上下文系统
本次 Memory 系统重构是一次面向 AI Agent 未来演进的上下文工程升级——通过结构化、压缩与抽象机制,让模型在有限上下文预算下更高效地维持任务理解、目标对齐与推理连贯性。
上下文膨胀带来的新瓶颈
随着模型能力的快速提升,代码类产品的形态正在从传统 Chatbot 向更加自主、可执行多步任务的 AI Agent 转变。Agent 不再只处理简单问答,而是需要:
分析用户需求;
读取多个文件并理解整个项目;
调用不同工具生成结构化结果;
多轮推理、修改、验证中间产物;
在长流程中保持一致的任务状态;
这使得模型的上下文规模呈指数级膨胀。文件内容、构建日志、多轮工具输出、任务中间状态、先前讨论……这些都逐步挤进了 Prompt,使得原本相对可控的短对话场景,变成了复杂的多源异构大上下文输入。结果非常直接:
模型需要处理更长的 Token → 推理时延增加,成本上升;
有效信息被噪声淹没或被截断 → 输出质量下降;
Agent 在长流程中“忘记”关键上下文 → 任务失败率上升;
换句话说,模型能力的提升并不能弥补上下文结构的混乱,反而会让模型在面对冗余输入时显得束手无策。因此,当产品从 Chatbot 进化为 AI Agent 后,模型本身不再是唯一瓶颈,上下文工程开始成为系统性能与体验的核心约束。
CodeGenius Memory 的设计与演进
早期 CodeGenius 采用了固定窗口来管理上下文,我们只保留最近 5 轮的完整对话,这种策略在产品早期非常简单有效,但随着编码任务越来越复杂,该方案面临着 3 个主要问题:
上下文断裂:复杂任务往往需要超过 5 轮对话才能完成,固定截断会导致前面的重要信息丢失,模型“忘记”用户的原始意图。
缓存失效:每次截断都会改变 Prompt 的内容,导致之前的缓存无法复用,需要重新进行完整推理,增加了推理成本和延迟。
冗余信息干扰:长对话中会积累大量重复引用的文件内容,以及早已过时的工具调用结果。这些无效信息不仅占用 Token 额度,还会干扰模型判断,降低代码生成质量。
随着项目规模扩大,需求越来越复杂,这种固定窗口机制已不再适用。因此,我们为 CodeGenius 构建了一个新的 Memory 系统,使其能够在长任务、长对话、多文件、多工具的复杂场景下:
控制上下文规模
保留关键语义
提升模型稳定性
降低成本与延迟
让 Agent 能够真正连续执行任务
这便是 CodeGenius Memory 重构工作的起点。
Memory 真正的难,是“取舍”
在调研过程中,我们很快意识到 Memory 不是单纯“把更多信息塞进去”,而是如何取舍。这里主要的挑战包括:
如何识别上下文中冗余、过期的内容,并尽可能在不影响缓存的前提下移除这些内容;
何时对上下文进行压缩并保留上下文中关键的技术细节、架构决策和遗留问题。
这两类挑战都指向一个共同问题:上下文必须被结构化管理,因此我们设计了一套分层的 Memory 优化框架,让系统在每一次对话前,先把上下文“整理打包”一遍,再交给模型。
整体流程
方案的核心是三件事:
优化方案遵循「输入 → 整理 → 压缩 → 生成」流程,核心目标是保持上下文稳定性,以提高提示词缓存命中率,同时通过分层处理保证跨轮次连续性。
关键机制设计
卸载过时信息
当和模型进行多轮对话后,历史消息中的很多信息其实是冗余的,比如实现上个目标而查看/编写的代码,已经使用过的组件文档等等。这些过时的内容占用着大量的 Token,增加成本和延迟的同时还会干扰模型的注意力分配,使推理行为偏离当前目标。
因此,我们对 5 轮对话之前的工具出入参进行了卸载,将这些信息从 LLM 上下文中移除并存储到文件当中,留给模型的只有文件路径和提示信息,后续需要时可以重新读取文件内容查看或者通过 grep 获取关键信息。
因为卸载信息并不是 append-only 的模式,需要对历史消息进行修改。如果 5 轮对话后,每次都进行卸载会导致缓存持续失效,反而得不偿失。为了尽可能保持上下文的稳定性,我们对卸载设置了 batch size,每过 5 轮进行一次卸载,这样既有效移除了过时信息,同时也享受到了缓存带来的成本和延迟的降低。
Claude 系列模型读取缓存的 Token 价格是正常的 0.1 倍,创建缓存的价格是正常的 1.25 倍。
文件去重和摘要生成
文件类内容在上下文中往往是最大开销来源,当多轮对话中一直挂载着同一个文件,如果每次都带着最新的文件内容给模型会导致上下文膨胀得很快。现在的模型已足够智能,模型能够根据文件原始内容和编辑路径推断出最新的内容。因此,我们的策略是:遵循 append-only 的模式,只在第一次添加文件时带上完整代码,后续只在手动编辑代码后提供 diff 内容,其他情况都只提供文件路径,不再附带内容。
除此之外,我们还发现有时一个大文件就占据了大部分模型上下文,但对这次需求来说,其中大部分内容都是无效的,真正关键的代码只有几行。为了解决这个问题,我们在检测到文件过大时(文件大于 3000 行)利用 tree-sitter 对文件进行了压缩,生成了只包含类型定义、变量和函数签名等重要信息的摘要。有了带行号的摘要,模型会在需要时缩小查看范围,只读取其中的关键内容。
代码摘要示例
...64|interface RuleNode {65| title: string;66| key: string;67| hitRate: number;68| totalCases: number;69| hitCases: number;70| nodeType: NodeTypeEnum | 'logicGroup';71| logicType?: 'AND' | 'OR';72| isLeaf?: boolean;73| children?: RuleNode[];74|}75|76|interface StrategyInsightProps {77| strategyCode?: string;78| strategyName?: string;79| /** 来源标识,用于控制实时流量分析tab的显示 */80| source?: 'scenario-operation' | 'default';81|}82|83|exportconst StrategyInsight: React.FC<StrategyInsightProps> = ({84| strategyCode: propStrategyCode,85| strategyName: propStrategyName,86| source,87|}) =>...190| const copyToClipboard = async (text: string): Promise<boolean> =>...405| const processCandidateStrategies = () =>...721| const convertTrafficDataToRuleTree = (722| node: TrafficAnalysisNodeVO,723| parentKey = '',724| index = 0725| ): RuleNode =>...769| const getAllNodeKeys = (nodes: RuleNode[], maxLevel: number = 1): string[] =>771| const traverse = (nodeList: RuleNode[], currentLevel = 0) =>...791| const handleStrategyTypeChange = (value: StrategyTypeEnum) =>797|798| const handleStrategyCodeChange = (value: string) =>805|806| const handleRuleCodeChange = (value: string) =>812|813| const handleDateChange = (date: Moment | null) =>817|818| const handleExecutionModeChange = (mode: ExecuteTypeEnum) =>...824| const handleQuery = () =>...835| const handleRealtimeStartTimeChange = (date: Moment | null) =>838|839| const handleRealtimeEndTimeChange = (date: Moment | null) =>842|843| const handleRealtimeDataLimitChange = (value: number | null) =>...这就像只告诉模型一本书的目录,而不是全文,让模型按需获取相关内容。通过这种方式,在上下文有限的情况下,完美解决了大文件无法一次性加载到模型上下文的问题。
动态对话摘要
即使已经通过卸载、去重和结构摘要等手段显著降低了上下文体积,上下文仍会随着对话轮次的增长不断膨胀。对于需要多轮对话的复杂任务来说,如果不主动清理上下文,迟早会触及模型的最大窗口,导致成本上升、推理变慢,甚至模型无法继续工作。
因此,我们为 CodeGenius 设计了一套能够根据上下文状态动态触发的对话摘要机制,用于在关键时刻“折叠历史”,确保 Agent 始终在可控范围内运行。
摘要生成部分我们直接使用了 Claude Code Compact 的提示词,该提示词会让模型生成一份极其详细、结构化的对话总结,总结会包含九个结构化部分:
Primary Request and Intent: 重点描述用户在对话中的主要目标、核心需求和明确意图• Key Technical Concepts: 列出整个对话涉及的重要技术点、框架、工具、概念等;
Files and Code Sections: 记录讨论或修改过的具体文…