Karpathy的LLM Wiki + 3.5 万Star的Graphify:企业级 RAG 缺的真是知识图谱?

4 月中旬的时候,知识星球里有盆友问到 Karpathy 的 LLM Wiki。当时只是粗略复现了下,没来得及系统测试。正好这周末得空,花了一天时间把 LLM Wiki,以及另一个更火的衍生项目 Graphify 都认真跑了一遍。

我写这篇的时候,Karpathy 那份 LLM Wiki gist 已经到 5000+Star,而 Graphify 已经有了3.5 万 Star 左右。一个讲知识预编译,一个讲自动知识图谱,看起来都很适合拿来改造企业 RAG。但真正跑到合同知识库这种场景里,结论其实并没有那么简单。

先说结论,个人知识库的最佳实践,不一定是企业知识库的最佳实践。LLM Wiki 给了一个很好的参考思路是,传统 RAG 少了一层知识预编译,这个思路值得抄。Graphify 可以借鉴的是,Agent 不一定每次都要从原始文件开始读,结构化导航也很重要。但企业级 RAG 真正缺的,不是再多一个酷炫工具,而是受控 schema、结构化字段、原文引用、权限边界和可复跑评测。

这篇试图说清楚:

我会先用大白话讲清楚 LLM Wiki 和传统 RAG 的差别,再用 30 份合成合同搭一个共同测试基准。然后分别复现 Graphify 的代码场景、跑一个我自己的 RAG 入库质检工具包,再把基础 RAG、LLM Wiki 小样本和受控 schema 综合方案放到同一套问题里比较。最后想讨论的不是哪个开源项目最强,而是企业级知识库到底应该把模型、向量库、结构化字段、关系表和高频综合页分别放在什么位置。

以下,enjoy:

1

   

先搭试验数据集:为什么是 30 份合同

老规矩,在正式开始之前,我先把后面用来测试的数据集说清楚。

1.1

   

为什么要先做共同基准

这篇文章会依次介绍 LLM Wiki、Graphify,以及我自己更倾向的企业级混合方案。为了让每类方案在同一个基准下比较,我先做了一个小型工程设计:用同一套文档,分别去跑 LLM Wiki、Graphify 和后面的问答评测。

1.2

   

为什么选合同这种文档

之所以选合同作为演示,是因为企业知识库真正麻烦的地方,通常不是处理单篇文档。单篇文档再长,也就是解析、切块、检索、引用这些问题。真正容易挑战系统能力边界的,往往是一堆文件之间的关系。

合同场景正好有这个特点:主合同、技术协议、补充协议、验收单、售后协议不是孤立存在的,这些都围绕同一个项目不断叠加,当然更进一步来说还有更细节的金额、工期、验收、违约金、质保期这些业务字段。

1.3

   

为什么是水处理非标设备集成场景

具体的合同类型这次选的是水处理非标设备集成厂商的项目合同,这个 case 之前在售前报价 Agent 的时候专门写过两篇文章。

看过的盆友应该还记得,这类公司很多项目都要按现场条件、工艺要求、客户预算重新报价。售前阶段要看历史项目和报价,项目执行阶段要看合同、技术协议和补充协议,交付之后还要看验收和售后。销售、项目、财务、售后看的是同一个项目,但各自关心的字段不一样。拿这个场景来测知识库,比拿几份产品手册更接近企业实际。

从"找案例"到"出报价":一个售前报价Agent的7个工程决策

售前报价Agent落地案例拆解:检索优先 vs 生成优先

受限于商业条款限制,没法把实际项目中的合同文本放进文章里。不过为了更好还原实际的业务场景特征,我按这个业务结构,重新造了一组水处理设备合同样本。

所谓的造,也不是随便编 30 个文件凑数,业务结构还是按真实项目来的,只是客户名、金额、日期、合同编号全部做了虚构和脱敏。各位可以把它理解成一套可以公开复现的合同样例集,里面的行业逻辑、合同结构、项目关系尽量贴近真实业务,但不会指向任何真实企业。

1.4

   

这 30 份合同的设计

这组数据一共有 9 个项目,30 份合同文件。客户类型分成工业、市政、商业三类,文档类型包括主合同、技术协议、补充协议、验收单和售后服务协议。

1.5

   

测试埋点

可能会有盆友疑问为什么要做得这么麻烦,这是因为合同知识库真正难的地方,通常不是查一个合同金额。查金额、查日期、查甲乙方,这些问题只要解析别太差,传统 RAG 也能答个七七八八。真正容易翻车的是主合同、补充协议、验收单之间的关系。

比如在这个演示的水处理设备集成场景里,P-001 项目,主合同之后又签了一份补充协议,追加了除盐水机组,后面的验收单又记录了延期 45 天,但双方协商免除了违约金。这个问题如果只召回验收单,可能会看到延期。如果只召回主合同,可能会按违约金条款直接算钱。只有把主合同、补充协议、验收单串起来,才能知道它为什么延期,以及为什么没有扣违约金。

我在这 30 份合同里刻意埋了几类测试点。这些设计也是为了后面做评测时能拉开差距,基础 RAG、LLM Wiki、混合方案如果只测简单事实题,几种方案看起来都还行。但一旦问到主补关系、延期责任、质保差异、尚未验收这类问题,差距就会很明显。

说清楚了数据集长什么样,接下来再分别看下 LLM Wiki、Graphify 和最终的混合方案,在这套合同库上会跑出什么效果,我想各位再结合自己身边的场景,就会有更清晰的工程逻辑取舍的参考了。

2

   

LLM Wiki:先讲人话,再看实操

2.1

   

它不是一个新的 RAG 产品

LLM Wiki 这个东西,刚看到名字的时候很容易误会,以为它又是一个新的 RAG 框架,或者是一个现成的知识库产品,其实不是。

https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f 

Karpathy 那份 llm-wiki.md 更像一个想法说明,它没有给一个完整系统,也没有规定必须用某个数据库、某个 embedding 模型、某个前端。它说的更多算是一种工作方式:不要只在用户提问的时候临时检索文档,而是让 LLM 在资料进入知识库的时候,先把资料加工成一套长期维护的 Markdown Wiki。

这句话听起来有点抽象,我先不用合同讲。合同一上来就有主合同、补充协议、验收单、违约金,很容易把概念讲复杂。

2.2

   

普通 RAG 的问题在哪

假设你现在有三份资料,第一份是产品发布说明,说 v2.3 新增了批量导入功能,单次最多 5000 条,emoji 可能导致失败。第二份是客服工单,说最近 7 天有 42 个客户反馈批量导入失败,其中 31 个都和 emoji 有关,里面还有 12 个金融客户。第三份是销售会议纪要,说金融客户很关注批量导入能力,竞品已经支持 10000 条。

如果这时候有人问你,批量导入现在最大的问题是什么,对金融客户有什么影响。

普通 RAG 会先把这三份资料切成 chunk,再做 embedding,问题来了以后检索 top-k,然后把检索到的几段文本塞给大模型,让模型临时拼一个答案。

这个流程当然能用,过去两年大部分知识库项目都是这么做的。但它有一个问题:每次问类似问题,大模型都要重新拼一遍。 这次问金融客户,下次问企业版客户,再下次问竞品差距,它每次都要重新找片段、重新组合、重新判断。知识没有沉淀下来。

LLM Wiki 想尝试解决的就是这个问题。

2.3

   

它多做了一层知识预编译

它的做法不是等用户提问时再临时拼,而是在资料进来的时候,就先让 LLM 做几件事。

第一件事是给每份资料生成摘要页。比如产品发布说明有一页摘要,客服工单有一页摘要,销售会议纪要也有一页摘要。以后不用每次都重新读原文,先看摘要就能知道这份资料讲了什么。

第二件事是生成实体页。比如金融客户这个实体,在客服工单里出现过,在销售会议纪要里也出现过。LLM Wiki 会把这些分散信息汇总到同一个页面里。你再问金融客户相关问题时,不需要在三份资料里来回翻,它已经有一个汇总页。

第三件事,也是我觉得最有价值的一件事,是生成综合分析页。比如批量导入功能风险分析,这个页面可以提前把产品限制、客服反馈、金融客户影响、竞品差距放在一起,形成一个可以直接阅读的结论。

这就是 LLM Wiki 和普通 RAG 最大的区别。普通 RAG 是提问时临时找材料,LLM Wiki 是资料进入时先做知识编译。普通 RAG 的知识形态是 chunk,LLM Wiki 的知识形态是摘要页、实体页、概念页、综合页和索引页。

放在表里,大概是这些区别:

维度
传统 RAG
LLM Wiki
知识处理时机
提问时临时检索
资料进入时先加工
知识形态
文档 chunk
摘要页、实体页、综合页、索引
多文档综合
每次重新拼
提前沉淀成综合页
矛盾处理
通常靠提问时发现
ingest 或 lint 时提前标记
重复查询成本
每次都要检索和推理
前面编译一次,后面反复使用

所以我对 LLM Wiki 的理解很简单:它不是 RAG 的替代品,而是 RAG 缺失的知识预编译层。

这个思路当然也没什么破天荒,做企业知识库项目的时候,本身也经常人肉做类似的事。比如先把文档分类,抽关键字段,整理 FAQ,做专题页,标注风险条款。区别在于,LLM Wiki 把这件事明确成了一套可以让 Agent 持续维护的工作流。人负责放资料、提问题、判断方向,LLM 负责摘要、归档、交叉引用和更新。

Karpathy 原始文档里还有几个配套概念。index.md 是目录页,用来告诉人和模型有哪些页面。log.md 是操作记录,记录什么时候 ingest 了什么资料。lint 是定期检查 Wiki 里有没有矛盾、过时信息、孤立页面。Obsidian graph view 则是拿来浏览这些 Markdown 页面之间的连接。

这里顺道说一句,Obsidian 不是 LLM Wiki 的核心。它只是一个很好用的 Markdown 浏览器。真正有价值的是 Agent 生成并维护的那层 Wiki。

讲完这个通用例子,真正要判断 LLM Wiki 能不能用于企业项目,还是得拿合同这种更麻烦的文档试一下。合同库的难点不只是信息分散在多份文件里,更麻烦的是文件之间有版本关系、金额变化、工期顺延、验收状态和违约金处理。

2.4

   

用 5 份合同跑一个轻量实操

不过因为 LLM Wiki 的 ingest 不是建个索引这么轻,它每处理一份 source,都会更新 source summary、project page、clause page、synthesis page、index、log 等多个页面。Karpathy 原文里也提到,一份 source 可能触发 10 到 15 个 Wiki 页面更新。第一轮演示如果直接放 30 份,页面会一下子膨胀,各位反而看不清这个机制本身。

我的处理方式大致是这样的:

阶段
数据范围
目的
原始数据展示
samples/contracts/
 下 30 份合同
说明后续测试的数据集规模
LLM Wiki 轻量演示
llm-wiki-demo/raw/contracts/
 下 5 份合同
展示 Wiki 页面如何生成
后续正式评测
30 份合同加 48 题
对比基础 RAG、LLM Wiki、混合方案

llm-wiki-demo/ 里的结构也很简单。raw/contracts/ 放 5 份原始合同,wiki/ 下面放 Agent 生成的摘要页、项目页、条款页、实体页和综合分析页。AGENTS.md 是给 Codex 或 Claude Code 看的工作规则,规定它应该怎么 ingest,哪些文件不能改,生成页面放到哪里,事实性表述要带来源文件名。

这份 AGENTS.md 不是重新发明一套东西,而是把 Karpathy 的 Raw sources、Wiki、Schema 三层结构落到合同场景里。大的框架没变,只是把通用页面类型换成了合同里更有用的东西,比如项目页、补充协议变更、违约金、质保期、验收条款、售后服务。

实操的时候,我先在 Obsidian 里打开整个 demo vault。未筛选的 graph view 会把 README、AGENTS、CODEX_PROMPT、原始合同和 Wiki 生成页全部画进去,所以画面上会有一些噪音。但即便这样,中间已经能看到一团由 index、项目页、条款页、实体页、综合分析页组成的结构。

为了看清 LLM Wiki 真正生成的知识层,我又在 Obsidian 的 Graph View 里只保留 path:wiki,并关掉 orphan nodes。筛选后就清楚很多了。原始合同不再是重点,图里主要剩下项目、条款、客户实体和两篇综合分析页。

这个图说明的不是把合同放进 Obsidian 有多厉害。只把合同放进去,本质上还是一个能阅读的文件夹。LLM Wiki 真正多出来的是上面这一层:Agent 把原始合同预处理成了可以浏览、可以复用、可以继续维护的知识层。

2.5

   

为什么接着看 Graphify

这部分我先不展开更多细节,因为后面还有正式问答评测。这里只尝试给各位一个初步判断:source summary 和 project page 对快速理解合同库有帮助,synthesis page 对跨合同综合问题确实有价值。但它也有明显问题,比如引用颗粒度不够细、权限和审计没有现成机制、结构可控性依赖 AGENTS.md 写得好不好。

所以我对 LLM Wiki 的结论是思路值得抄,但不能原样当成企业合同知识库的生产方案。

这也是为什么接下来会给各位继续介绍 Graphify。它可以理解成开源社区里沿着这个方向继续往前拓展的一个工具,不是只让 Agent 维护 Markdown Wiki,而是直接把一个文件夹变成可查询的知识图谱。我查 GitHub 的时候,safishamsi/graphify 已经是 3.5 万 Star 左右,热度明显比 Karpathy 那份 idea file 更像一个具体产品。

Graphify 官方的说法是,它面向 Claude Code、Codex、OpenCode 这类 AI coding assistant,可以把代码、文档、论文、图片这些文件统一抽成知识图谱。代码部分主要靠 Tree-sitter 做静态分析,文档部分靠 LLM 做语义抽取,最后输出 graph.html、graph.json 和 GRAPH_REPORT.md。

这听起来刚好击中合同知识库的痛点。既然合同难在关系,那能不能直接用图谱把关系抽出来?所以我接着跑了三个 case,结果挺有意思。

3

   

Graphify:先复现代码场景,再看它到底能说明什么

如果说 LLM Wiki 是让 Agent 把资料提前整理成 Markdown Wiki,那 Graphify 往前又走了一步,它希望直接把一个文件夹变成知识图谱。输入可以是代码,也可以是文档、论文、图片。输出主要是三个东西:一个可以点开的 graph.html,一个机器可读的 graph.json,还有一个给人看的 GRAPH_REPORT.md。

https://github.com/safishamsi/graphify 

这个方向看起来确实很洋气,毕竟企业知识库最头疼的就是关系,合同之间有关系,条款之间有关系,项目和验收、售后、回款也都有关系。不过问题是,关系这件事不能只看有没有图,关键要看这张图到底画的是什么关系。

3.1

   

先说人话,Graphify 到底做了什么

Graphify 在代码场景里的核心逻辑其实不难理解。它先扫一遍代码库,用 tree-sitter 这类工具抽代码结构,比如哪个文件里有哪些类,哪些函数,哪些 import,哪些调用关系。然后再把这些节点和边组织成图,用社区发现算法分成若干个社区,最后生成一份报告。

所以它不是单纯画图工具。graph.html 只是展示层,真正有用的东西在 graph.json 和 GRAPH_REPORT.md 里。前者是完整图数据,后者会告诉你哪些节点连接最多,哪些社区比较大,哪些关系可能值得关注。

代码场景天然适合这套逻辑,因为代码关系相对确定。A import B,A 调用 B,A 继承 B,这些关系不是靠拍脑袋猜出来的,至少有很大一部分可以从 AST 里直接抽出来。

文档场景就不一样了。文档里的关系通常不是显式调用,而是语义关系。比如一份补充协议修改了哪份主合同,验收单是否改变了违约金责任,售后协议是否覆盖了原质保条款,这些不是扫一眼语法树就能知道的。它需要业务理解,也需要受控规则。

3.2

   

先别被 71.5x 带偏

Graphify 项目里有一个很容易被传播的数字,叫 71.5x token reduction。这个数字看起来非常猛,但它的含义要说清楚。

它说的是,相比每次提问都把原始文件全部塞给模型,先用图谱和报告做结构化导航,可以减少查询时需要读的 token。这个结论在大代码库里是有意义的,因为你不可能每次问一个架构问题,都把整个仓库塞进上下文。

但这个数字不是准确率提升 71.5 倍,也不是企业知识库效果提升 71.5 倍。它只是说明,在某个代码基准里,用图谱导航比直接读全量原文更省上下文。

这个口径很重要。因为很多技术项目看起来很炸裂,实际落到企业知识库里,真正要问的是另外几个问题:它抽出来的关系准不准,能不能审计,能不能被业务人员理解,错了以后能不能修。

3.3

   

复现 httpx:图生成了,但不是我以为的那种代码关系图

我先按官方思路复现了 httpx。这里中间踩了一个小坑,值得单独说一下。

一开始我以为 graphify clone https://github.com/encode/httpx --out httpx 跑完以后,就会直接出现 graphify-out。实际上不是。这个命令只是把 GitHub 仓库 clone 到本地,真正生成图谱,还要让 Graphify 对这个目录跑一遍。

我这次在 Codex 里跑的时候,$graphify 这个环境入口没有挂上,所以最后走的是实际 CLI 入口,执行的是 graphify update .。跑完以后,确实生成了三个关键文件:

输出文件
作用
graphify-out/GRAPH_REPORT.md
图谱报告,适合先看
graphify-out/graph.html
交互式图谱,适合截图和点选
graphify-out/graph.json
原始图数据,适合后续程序读取

完整 httpx 仓库跑出来的数据是这样的:

指标
结果
文件数
60
节点数
1501
边数
6218
社区数
graph.json
 里是 37,报告 Summary 写的是 34
EXTRACTED 边占比
31%
INFERRED 边占比
69%

这个结果和官方 worked/httpx 小样例不是一回事。官方小样例是 6 个仿 httpx 架构的文件,结果大概是 144 个节点、330 条边、6 个社区。我们这次跑的是完整 encode/httpx 仓库,所以图一下子大了很多。还有一个小口径差异,graph.json 和 graph.html 里能看到 37 个社区,但 GRAPH_REPORT.md 的 Summary 写的是 34 个社区,后面引用数字时最好说清楚口径。

不过graph.html实际看下来不是我原来想象的那种清清楚楚的模块关系图,比如 Client 连到 Transport,Request 连到 Response,然后一眼能看懂 HTTPX 的架构。实际看到的是一团很密的网络,里面有源码节点,也有测试节点,还有不少 docstring 或属性说明被当成了节点。

从报告里看,最核心的节点是这些:

排名
节点
连接数
1
Response
326
2
Client
183
3
Request
167
4
URL
155
5
SyncByteStream
144
6
AsyncByteStream
144
7
Headers
126
8
codes
120
9
AsyncClient
116
10
MockTransport
111

所以这次复现的结论很简单:Graphify 能跑通,也能抓到 Client、Response、Request、URL、Headers 这些核心抽象,但它没有自动生成一张高质量架构图。对于完整代码库,真正有用的是 GRAPH_REPORT.md 里的核心节点和社区划分,graph.html 更像一个全量关系浏览器。

这也说明下一步不能继续拿全量图硬看。更合理的做法是先控制输入范围,比如只分析 httpx/ 源码目录,暂时排除 tests/ 和文档;或者在 graph.json 上做后处理,只保留核心节点的一跳邻居和高置信度边。换句话说,不是把这张 HTML 美化一下就行,而是要先把图的输入和过滤规则收敛掉。否则图再漂亮,本质上还是信息过载。

3.4

   

泛化性测试:RAG 入库质检工具包

为了避免只拿一个成熟开源库说事,我又跑了一下自己之前做的 RAG 入库质检工具包。这个工具包更接近我自己的工程场景,里面有 Python 后端、FastAPI 接口、扫描器、评分逻辑、报告生成,还有前端页面。

做了十几个知识库项目后,我把入库前的文档摸底流程产品化了

这次我没有直接全量跑整个目录。原因前面已经说过,项目根目录里有重复的前端 JS,还有样例导出 HTML 和缓存文件。如果全部丢进去,很容易又变成一张大而乱的图。所以第一轮只分析 run.py、requirements.txt、README.md 和 backend/,先看后端主干能不能被识别出来。

第一轮结果明显比 httpx 全量图清楚很多。

指标
第一轮结果
文件数
32
节点数
193
边数
403
报告里的有效社区
12
graph.html
 里的社区
21
EXTRACTED 边占比
59%
INFERRED 边占比
41%

从 GRAPH_REPORT…

— 以上为试看内容(约 40%),开通会员后阅读全文 —