读了9篇 LLM Wiki 文章后更迷糊了,我让 AI 帮我系统梳理知识库构建

通用知识管理方案,在专业领域需要改造才能用。

一、一件事

你敢把 AI 给你的答案,直接写进报告里吗?

我是不敢了。

但在之前,我确实是信了的——至少信到愿意把过去两年的周会记录,100 多份文件、35 万字,全部喂给一个 AI 知识库系统。

动机很朴素。

周会记录里有很多东西:项目决策的理由、技术方案的取舍、踩过的坑。东西都在,但想找的时候基本靠运气——记得讨论过,但藏在哪份文件里,真说不准。

我之前的做法是:翻文件名,凭记忆猜大概是哪一周的会,打开,Ctrl+F。

经常找不准。

所以当我读到 Andrej Karpathy 的那篇 Gist——「用 LLM 把原始资料编译成结构化 Wiki」——的时候,我觉得这可能是一个解法。

思路很简单:

1. 原始资料(周会记录)丢进 raw/ 目录

2. 让 AI 读取,编译成结构化的 Wiki 页面(Markdown)

3. 问答时直接读取编译好的页面,而不是每次重新检索原始文档

理论上,这件事做一次,好处吃三年。


二、第一个直观感受:Token 消耗巨大

好歹,在workbuddy知识库专家的帮助下,知识库做成了。

100 多份文件,35 万字,全部入库。WorkBuddy 可以回答「上次关于 XX 项目,我们为什么选了方案 A?」这类问题了。

但有一个直观感受很强烈——Token 消耗巨大。详情可见我上一篇文章:花光Workbuddy2个月积分做知识库,我踩了5个坑

每次让 AI 回答一个问题,它要读取的内容好像越来越多。我没有精确统计,但直观上,随着 Wiki 页面从 10 个涨到 37 个,每次问答的 Token 消耗明显增加。

我当时的想法是:也许本来就是这样,知识库越大,消耗越多,正常。

现在回头看,这个想法当然很天真。但当时的情况是:知识库刚建好,能回答问题了,感觉"有效果"。人在"刚看到效果"的时候,倾向于继续投料,而不是停下来质疑系统本身。

于是我按下了继续优化的键——补充更多资料,扩充知识库,让它更完整。

但 Token 消耗巨大的直观感受,让我隐约觉得「这个方向可能有坑」。只是当时没有想清楚「坑在哪里」。

于是我在公众号里搜 LLM Wiki 相关的文章,想看看别人是怎么做的。然后我刷到了一篇,里面提到了一个词——知识漂移


三、暂停键:我看到了「知识漂移」这个词

本来想按原思路继续扩充知识库。

然后我刷到了一篇文章,里面提到了一个词——「知识漂移」(Knowledge Drift)。

文章的大意是:AI 在编译 Wiki 页面的时候,会对原始内容进行「有损压缩」——它用自己的话重新表述你的原始资料。单次看没什么问题,但经过几轮更新之后,Wiki 页面里的内容,和原始文档之间会出现系统性偏差。

这才是知识漂移(Knowledge Drift)的真正含义——

它不是「错了」,而是「不够精确了」。而在专业领域,「不够精确」就是「错了」。

我读到这段话的时候,终于回过味来了。

我的 Wiki 里,有没有已经「漂掉」的内容?

这个问题我没有答案。但我知道一件事:在搞清楚之前,不应该继续往里喂数据了。

我按下了暂停键。扩充知识库的计划,暂时搁置。先解决「可靠性」问题。


四、混乱:我读了 9 篇文章,然后更迷糊了

我开始的想法很简单:去网上查一下,别人是怎么解决「知识漂移」这个问题的。

然后我掉进了一个兔子洞。

我一共读了 9 篇关于 LLM Wiki 的实践文章(参考文献附后)。读完之后的状态是:更迷糊了。

因为大家讨论的问题,和我要解决的问题,好像不是同一件事——

社区讨论的重点
我当时最关心的问题
Token 成本优化(怎么让 API 调用更便宜)
我的 Wiki 是不是已经在「漂」了?
知识图谱怎么搭(Obsidian + 向量检索)
怎么防止进一步漂移?
自动化流水线(URL → 抓取 → 解析 → 入库)
已经入库的内容,要不要重新校验?
内容创作者的「积木化写作」
专业判断经验怎么沉淀?

不是说社区讨论的方向不对,而是——

我面对的是一个「已经建好的知识库,怎么保证它不漂移」的具体问题。而社区里大部分文章在讨论的是「怎么从零开始建一个知识库」。

两个问题不是同一个。

我卡住了,思路很多很杂,已经混乱了。


五、停下来,系统整理了一遍——整理成LLM-Wiki学习笔记

卡住之后…

— 以上为试看内容(约 40%),开通会员后阅读全文 —