你的 RAG 还在「现翻现抄」吗?从开卷现抄到融会贯通:你那套存量 RAG,该往哪走。聊聊知识沉淀这件事
如果你维护过一套上了线的 RAG 系统,大概率对这个画面不陌生。
用户问一句话,系统把切好的几十个 chunk 现场捞一批出来,按相似度排个序,拼成一段上下文,塞给大模型,让它"看着这堆碎片现编一个答案"。答完,碎片散去,什么都没留下。下一个人问几乎一样的问题,整个过程从头再来一遍。
这很像一个开卷考试的学生——题目来了才翻书,翻到哪页抄哪页,考完什么也没记住。
它能用,甚至大部分时候还挺好用。但你心里清楚:这套东西"会查",却从来不"会学"。
一、先对个症状:这几条你中了几条
把主流做法摆出来,免得我们在抽象里打转。
绝大多数存量系统长一个样:文档切成 chunk,过 embedding 进向量库;查询来了,用朴素向量、或者 BM25+向量的混合、或者 HyDE(先让模型生成一个"假想答案"再拿去检索)召回;召回完 rerank 一下,拼成上下文喂给 LLM。这套范式没有错,它召回快、上手快、覆盖广,是过去两年最务实的工程选择。
但它有一个底层的"人格":它是一个只会开卷现抄、从不做笔记的学生。
症状自检:chunk失上下文 / 知识不沉淀 / 连不起来 / 工程欠账下面这几条,你中了几条:
•chunk 丢了上下文。 一个孤立的 chunk 写着"当该值低于 -110摄氏度 时上报告警"——可它指的是 恒温机 还是 高速离子对冲机?出自哪一章?切下来那一刻,这些都丢了。就像你把课本撕成纸条,每张纸条本身都对,但谁也不知道它原来在讲什么。
•知识从不沉淀。 同一个事实散落在几十个匿名 chunk 里,每次查询都是现捞、现拼、现生成。不积累、不去重、不演进——这个学生考了一百次试,笔记本永远是空白的。
•连不起来。 凡是需要把信息串成一条线的问题——多跳关系、某一类故障的共性根因——它基本答不上来。因为它脑子里压根没有"实体"和"关系",只有一堆互不相识的句子。
•工程上还欠着账。 很多系统的混合融合用的是非标准的"排名倒数×权重",过度偏袒第一名;上下文超长就硬截断,可能恰好砍掉最相关那段证据;更要命的是,几乎都没有评测和回归框架——改完一个参数,是涨是跌,全靠拍脑袋。
中了三条以上?恭喜你,拥有一套非常典型、非常主流的存量 RAG。这不丢人,这就是行业现状。
接下来要说的,不是让你把这个学生开除,而是教他做笔记。
二、病因不在参数,在结构
在聊怎么改之前,先把病因说清楚,否则容易又掉进"是不是我哪个参数没调好"的自责里。
不是你没调好,是结构本身只到地基。
过去两年,所有人的力气都花在"怎么把碎片捞得更准"上——更好的 embedding、更狠的 rerank、更花的混合策略。这些都没白费,但它们优化的是召回这一个动作。而你线上那些真正难缠的问题,根子不在召回准不准,在于:你的系统里压根没有"知识"这一层,只有一堆碎片。
chunk + embedding 是地基,负责"找得到"。地基没错,也不会消失。但你现在是在拿地基去干楼房的活——你要求一堆撕碎的、匿名的、互不相识的纸条,去回答需要结构、需要关系、需要出处的问题。它当然答不好。
这不是调参能解决的。这是表示层(representation)太薄。
三、三个出圈项目,其实在喊同一句话
最近有三个项目在技术圈里都有些声量。它们形态差得很远,凑到一起看,却在指向同一件事。
三个信号殊途同归:llm_wiki / gbrain / okf信号一:nashsu/llm_wiki(约 13k★)。 灵感来自 Andrej Karpathy 提的"LLM Wiki"模式。它用 LLM 把源文档一次性"编译"成一座可演进的 Markdown 知识库——实体页、概念页、综合页,彼此用 [[wikilink]] 互链,配上知识图谱和社区检测。关键在于:查询主要在这座沉淀好的 wiki 上跑,而不是每次回到原始 chunk 里重新刨。 工程上也体面:每页 frontmatter 里记 sources[],来源可追溯;删源时做"共享实体保留"——只移除被多源引用实体的那一条来源关联,而不是一刀切删整页;检索时以命中页为种子做 2-hop 图扩展。
这就是那个学生终于开始整理笔记本、给知识点之间画箭头了。
信号二:garrytan/gbrain(YC 的 Garry Tan 开源)。 面向 AI agent 的"记忆层"。最有意思的是:写入时"零 LLM"——用 regex + schema 规则织出一张带类型边(attended、works_at、invested_in 之类)的知识图谱;检索时才上"向量 + BM25 + 标准 RRF + rerank + 图信号"的混合。在它自建的基准上(240…