过去的2025年,对于检索增强生成(RAG)技术而言,是经历深刻反思、激烈辩论与实质性演进的一年。
尽管围绕其“临时性”与“被替代性”的疑云一直笼罩,但纵观全年发展轨迹,RAG 并未如部分激进观点所预言的那样黯然退场,反而在企业级 AI 落地的深水区中,愈发彰显出其作为数据基础设施的不可替代性。
回顾全年,RAG 的发展态势可谓错综复杂:
一方面,其实际应用效果面临诸多质疑,部分源于 RAG 系统自身“易用难精”的调优挑战;另一方面,其舆论关注度也似乎被 2025 年大模型应用的绝对焦点——AI Agents 所分流。
然而,一个颇具意味的现象是,尽管争议增多且并非处于流量中心,但真正致力于构建核心竞争力、严肃对待 AI 能力建设的企业,尤其是中大型组织,对 RAG 的投入反而更为深入和系统化。
RAG 在企业 AI 架构中非但未被边缘化,反而更加稳固地扮演着核心角色,其作为关键基础设施的地位并未动摇,正如下图所示,它构成了企业智能能力的坚实底座。
因此,我们首先需要超越表面的争议,深入审视 RAG 技术本身的生命力:它究竟只是一种弥补大模型知识缺陷的过渡性“创可贴”方案,还是具备持续演进、并能成为下一代 AI 应用基石的架构?
要回答这个问题,我们必须系统盘点其在技术改进、架构演进以及在 Agent 时代所扮演的新角色。
RAG 还能改进么?
长上下文和 RAG 之争进入2025年,围绕RAG的诸多争议,其根源可归结为一个核心矛盾:企业对 RAG “既离不了,又不满意”的普遍心态已形成共识。RAG 降低了接入私有知识的门槛,但其效果的稳定性和准确性(尤其是面对复杂查询时)往往需要大量精细调优,这使得其总拥有成本评估变得复杂。
因此,2024 年学术界与投资界热烈探讨的“长上下文(Long Context)能否取代 RAG”的理论命题,在 2025 年迅速进入了实践检验阶段。部分对延迟和成本相对不敏感、且查询模式相对固定的场景(如某些类型的合同条款审查、固定格式报告分析),开始尝试直接利用长上下文窗口,将整篇或大量相关文档一次性输入模型,以期绕过 RAG 检索可能带来的信息丢失或噪声问题,直接缓解对话效果不一致的痛点。
然而,关于两者的技术对比,2024 年以来的研究已给出相对清晰的图景:在 LLM 上下文窗口中机械地填充过长文本,本质上是一种“暴力堆料”策略,它必然导致模型注意力分散,从而使得回答质量显著下降,产生所谓的“中间迷失”(Lost in the Middle)或“信息淹没”效应。
更重要的是,此举伴随着高昂的成本考量——处理长上下文的计算开销呈非线性增长。
因此,对企业而言,真正具有实践价值的思考并非纠结于“RAG 已死”的口号式辩论,而是回归问题本质:如何将最相关、最有效的信息,以最高性价比的方式纳入模型的上下文处理体系。
这一命题,恰恰是 RAG 技术设计的初衷。长上下文能力的提升,非但没有宣告 RAG 的终结,反而促使我们更深入地思考两者如何协同。例如,可以在 RAG 系统中,利用长上下文窗口来容纳更完整、语义更连贯的检索结果块,或者用于多步检索与反思的中间结果汇总。
这种“检索前置,长上下文容纳”的协同模式,正是“上下文工程”(Context Engineering)这一新兴领域需求兴起的重要源头。它标志着工作重心从单一的“检索算法”优化,转向对“检索-上下文组装-模型推理”端到端链路的系统性设计。
当前,向 LLM 提供外部知识的输入范式主要分为四种:
-
- 单纯依赖LLM的长上下文能力。
-
- 借助于 KV Cache 。
-
- 利用 Grep 等简易搜索手段。
-
- 采用完整的 RAG 架构。
从成本角度来看,方案 1 与方案 4 之间存在 2 个数量级的差距。方案 2 即将所有文档数据经 LLM 前向传播处理为张量后存入专门的 KV Cache 系统,其成本相比 RAG 仍高出至少一个数量级。
即便将 KV Cache 升级为数据库与推理一体化引擎(如 AlayaDB【文献 1】所倡导的路径),在技术层面仍存在多重根本性限制:
-
- 大数据量与检索性能的矛盾:
- 若预处理后的张量数据总量远超 GPU 显存容量,则系统必须引入二级存储和相应的检索机制来实现按需加载。这将导致推理过程变为“边生成边搜索”,对 I/O 延迟和检索速度的要求变得极其苛刻。
-
为了满足极低延迟,通常不得不将整个数据集和 LLM 推理服务强绑定部署于同一物理机或高性能计算集群的紧密网络域内,这在架构上极大地牺牲了灵活性与可扩展性,限制了业务部署形态。
-
- 场景局限性:
-
该方法主要适用于相对静态的、以事实性知识问答为主的文本库,难以灵活、低成本地结合企业内部复杂多变的业务规则、实时更新的知识以及进行多样化的组合查询。
-
- 技术融合趋势:
- 该方法与 RAG 并不冲突。即该方法未来走向实用,也极有可能被 RAG 技术体系所吸纳和融合,成为 RAG 架构中的一个优化组件。
方案 3(无索引 RAG)因 Claude Code 为其代码助手 Agent 引入而受到一定关注。那么,一个朴素的问题是:在特定领域,简单的字符串匹配(Grep)能否取代复杂的基于检索的 RAG 架构?
对于组织良好、格式纯粹、术语固定的代码库或某些高度结构化的文本数据(如日志文件),基于规则的Grep或关键词搜索或许能以极低成本获得不错的效果,从而节约索引构建与维护的开销。
但对于绝大多数企业环境中的多模态、非结构化或半结构化数据(如产品手册、会议纪要、设计图纸、含表格和图片的报告),此方法则完全失效。
事实上,即使是看似规则的代码搜索,领先的产品如 Augment Code 也未采用简单的Grep,而是专门微调了适用于代码语义的 Embedding 模型。
原因在于,为代码助手提供有效的上下文,不仅需要精确的字符串匹配(找函数名),更需要语义近似的代码片段(实现相似功能的不同写法)、相关的 API 文档以及代码块的依赖关系。
至于企业级应用所必需的多样化自然语言查询、高并发、低延迟响应以及结合业务元数据的过滤与排序等需求,则更非 Grep 所能覆盖。
因此,RAG 及其前身——企业搜索引擎,始终是面向复杂企业级需求的综合性技术与架构解决方案,其价值在于提供一种系统化、可扩展、可治理的知识接入与管理能力。
RAG 对话效果的优化路径
回归 RAG 技术本质,其回答不准确、不稳定的常见根源,源于传统“分块-嵌入-检索”流水线中存在一个结构性矛盾:使用单一粒度、固定大小的文本块(Chunk)同时承担两项存在内在冲突的任务:
- 语义匹配(召回):为了在语义空间中进行相似度搜索时获得高精度召回,需要文本块较小(如100-256个 Token),使其语义焦点明确,减少无关信息的干扰。
- 上下文理解(利用):为了向 LLM 提供足够完整、连贯的上下文以生成优质回答,需要文本块较大(如 1024 甚至更多 Token),以保证逻辑的完整性和背景信息的充足。
这导致系统设计者不得不在“精准但碎片化”与“完整但模糊”之间进行艰难权衡,常常顾此失彼。小切片可能导致检索到的信息支离破碎,LLM 无法理解全貌;大切片则可能引入噪声,降低检索精度,并且由于向量表示是对整个块的概括,也会丢失内部细节的区分度。
因此,一个根本性的改进思路是将 RAG 流程从“一步走”解耦为两个逻辑阶段——“搜索(Search)”与“检索(Retrieve)”——并允许它们采用不同的文本粒度:
-
搜索(Search):类比“扫描”或“定位”,核心目标是快速、精准地从海量数据中找出所有可能相关的“线索点”。此阶段应使用较小的、语义纯净的文本单元,以实现高召回率与高精度。像"扫描"或"定位",需使用小块文本以实现高精度的语义匹配。
-
检索(Retrieve):类比“阅读”或“理解”,核心目标是为 LLM 组装出用于生成答案的“阅读材料”。此阶段应基于搜索阶段得到的线索,动态地聚合、拼接或扩展出更大、更完整、更连贯的上下文片段。
RAGFlow 提出 TreeRAG 技术,正是这一思想的实践。它通过借助 LLM 在离线阶段自动化地分析文档,构建出层次化的树状目录摘要结构,从而巧妙地桥接了“小粒度搜索”与“大粒度阅读”之间的鸿沟。其核心工作流体现了“先精准定位,再展开阅读”的智慧 :
-
离线处理(知识结构化):文档切分后,先送入 LLM 进行分析,生成对应的多级树状目录摘要(例如,章->节->子节->关键段落梗概)。同时,还可以为每个节点或原始切片进一步衍生出摘要、关键词、实体、可能的问题、元数据、关联的图片上下文描述等丰富的语义增强信息。研究表明【文献3】,在离线处理阶段,对原始切片的精细度要求可以适当放宽,过于复杂的切分策略有时反而会破坏语义单元,简单且重叠的切片策略往往在实践中更有效和健壮。
-
在线检索(动态 Context 组装):当用户查询到来时,首先使用最细粒度的“小片段”(原始切片或其摘要)进行相似度搜索,实现快速、精准的初步召回。然后,利用离线构建的“树状目录”这一导航图,根据召回的切片节点,迅速定位到其所在的父节点、兄弟节点及相邻节点,将这些语义相关的片段自动组合成一个逻辑完整的“大片段”,最后提供给 LLM。这种方法有效解决了因固定粒度切片造成的上下文碎片化问题,确保了提供给模型的材料既包含了精准匹配的核心信息,也具备了理解该信息所需的周边语境。
类似的工作还有 PageIndex【文献2】,它更侧重于解析和利用文档本身(如 PDF)固有的物理或逻辑目录结构。
这种方法在文档结构清晰、格式规范时非常高效,但其局限性在于高度依赖源文档的质量,当文档缺乏清晰目录或目录不准确时,其自动定位能力就会大打折扣。
TreeRAG 及其同类技术有效缓解了因切片不当导致的“Lost in the Middle”痛点。
然而,对于某些更为复杂的查询,例如问题答案分散在数十个互不相邻的切片中、或需要综合多个独立文档的信息进行推理的情况,仅靠树状结构可能仍无法全面覆盖所有关联。
此时,业界很自然地将目光投向另一条技术路径:GraphRAG。GraphRAG 通过从文档中抽取实体及实体间关系,构建知识图谱,利用图查询与图推理来发现间接关联的信息片段。
然而,GraphRAG 自诞生以来,同样让许多尝试者处于“爱恨交加”的境地,其主要挑战源于以下几个方面:
-
- Token消耗巨大:
- 实体抽取、去重、社区摘要等步骤会导致数倍乃至数十倍于原文的 Token 消耗。
-
- 实体抽取质量与预期存在落差:
- 传统知识图谱经过领域专家精心设计与校验,图谱质量高,可直接用于可视化分析与交互。而 GraphRAG 自动抽取的实体和关系常包含大量噪声、冗余或错误,若以可视化知识图谱的标准去审视和使用它,往往会感到失望,陷入“图表美观但实用性不强”的尴尬境地。
-
- 知识碎片化:
- 即便通过图算法发现了关联社区并生成了摘要,其产出仍然是围绕特定主题的“知识片段”集合。基于这些离散的片段去生成最终答案,对 LLM 的整合与连贯叙述能力提出了极高要求,容易产生回答缺乏逻辑主线或遗漏重要侧面信息的问题。 实体和关系得到的是离散的知识点,即便围绕社区生成的摘要也是碎片化的信息,基于此生成的回答难免缺乏连贯性。
由此可见,结合 TreeRAG 与 GraphRAG 的优势,有望进一步缓解 RAG 的痛点:TreeRAG 擅长解决因物理切片导致的局部语义断裂问题,提供连贯的上下文;GraphRAG 则能基于实体与关系网络,利用图遍历算法(如Personalized PageRank)辅助发现那些在语义上高度相关但在原始文档中物理距离较远、甚至跨文档的内容片段。
因此,无论是 TreeRAG、GraphRAG,还是两者融合的混合架构(可以统称为“长上下文 RAG”),其共同的核心范式都是在传统 RAG 流水线的基础上,引入了额外的语义增强与结构构建层:
在数据写入(Ingestion)阶段,不仅进行切片,更利用LLM进行深度的语义理解、摘要生成和结构提取;
在检索(Retrieval)阶段,则不仅仅依赖搜索,还结合了基于预定义结构(树、图)的导航、关联查询和动态组装能力。
因此,RAG 技术远非陷入停滞,其改进方向正日益清晰:借助 LLM 本身的能力,在数据生命周期的早期阶段就尽力弥合原始数据与最终问答之间的语义鸿沟。
通过在写入阶段使用不同指令的提示词,多轮次、多角度地请求 LLM 分析文本,从中提取出丰富、多层次的语义信息(元数据),并在检索阶段,以这些增强语义为“导航图”,在单纯的向量相似度搜索之外,智能地完成上下文的筛选、聚合与填充。
这才是解决复杂、开放域问答挑战的更可靠之道。
RAGFlow 等产品已在此方向展开深入实践,其未来演进将围绕这些核心点持续深化。简而言之,现代 RAG 系统的设计哲学是:充分协同“强大检索与推理能力”与“有限但宝贵的 LLM 上下文窗口”,通过智能的预处理与动态组装,在效果、性能与成本之间寻求最优平衡。
从知识库到数据底座
我们常强调 RAG 本身是一种架构范式而非具体应用,但不可否认,知识库是 RAG 最直观和成功的应用形态。
随着 AI Agent 开发的蓬勃兴起,一个显著的趋势是:Agent 的复杂任务执行越来越离不开对海量、多样化企业数据的实时访问与理解。因此,企业级的 RAG 产品开始超越“问答知识库”的单一定位,向更底层、更通用的 Agent 数据基座演进。它需要承担起为各类 Agent 提供统一、高效、安全的非结构化数据访问服务的角色。
为此,一个健壮、可扩展和可配置的数据注入管道(Ingestion pipeline) 已成为现代 RAG 引擎不可或缺的核心功能模块。它承担着“接管”企业内部纷繁复杂的非结构化数据(文档、图片、音视频、代码、邮件等),并将其“消化”成 RAG 引擎可索引、可检索的标准格式的全过程。
如果说 ETL/ELT 是现代数据栈中处理结构化数据的工业化标准管线(以 dbt、 Fivetran、 Airbyte 等工具为代表),为数据仓库和数据湖提供了统一、灵活且可靠的数据集成方案,那么,面向非结构化数据的 Ingestion pipeline(或可称为PTI: Parse-Transform-Index) 就是其在 AI 时代对等的关键基础设施。
两者在架构定位与处理哲学上高度相似,但在具体技术手段上因数据特质不同而有所区分,其核心环节对比如下图所示:
具体来看各个环节的异同:
- Extract 与 Parsing:传统 ETL/ELT 的“Extract”阶段主要从关系型数据库、API、日志文件等结构化或半结构化源中抽取数据。而 Ingestion pipeline 在此基础上,强化了“Parsing”环节,以专门攻克非结构化数据的信息提取难题。
该环节需要综合利用各种解析器,例如:用于 PDF /Word 的格式解析器、RAGFlow 自带的 DeepDoc 专用文档智能解析模型、基于视觉语言模型(VLM)微调的 OCR 模型等。其目标是将多模态、多格式的原始文档,转化为纯净、结构化的文本表示,并尽可能保留原始的逻辑结构(如标题、列表、表格)和元信息(如作者、日期)。
- Transform:这是两者差异最大的环节。传统 ETL/ELT 的“Transform”侧重于基于 SQL 或代码进行数据清洗、格式标准化、业务逻辑计算(如聚合、关联)等。
而 Ingestion pipeline 的“Transform”阶段,则是以 LLM 为核心的一系列语义理解与增强算子。它们负责把 Parser 输出的原始文本流,转变成检索阶段所需的各种高级“素材”。除了基础的文本分块(Chunking)外,前述的树状结构生成、知识图谱(实体-关系)抽取、摘要生成、问题生成、关键词提取等所有旨在提升检索效果与精度的处理,都在这个步骤完成。这个阶段是注入“智能”的关键,决定了数据被“理解”的深度。
- Load 与 Indexing: 传统 ETL/ELT 将处理后的干净数据加载(Load)到目标数据仓库或数据湖表中。而 RAG 引擎则通过“Indexing”模块,将 Transform 阶段产出的丰富内容(原始文本块、摘要、向量、元数据、图关系等)构建成适合多种检索方式的高效索引。
这是因为 RAG 引擎本质上是一个高并发、低延迟的检索服务层(Serving layer),它需要支持混合检索(向量检索+关键词检索+元数据过滤)、并可能集成上述的树检索、图查询等高级能力。
无论是处理结构化数据的 ETL,还是处理非结构化数据的 PTI,中间的“转换(Transform)”步骤都是价值创造的核心环节。
对于 ETL,工程师需要根据具体的业务分析需求,精心设计转换逻辑(SQL);对于PTI,由于 Ingestio…