读了9篇 LLM Wiki 文章后更迷糊了,我让 AI 帮我系统梳理知识库构建
通用知识管理方案,在专业领域需要改造才能用。
一、一件事
你敢把 AI 给你的答案,直接写进报告里吗?
我是不敢了。
但在之前,我确实是信了的——至少信到愿意把过去两年的周会记录,100 多份文件、35 万字,全部喂给一个 AI 知识库系统。
动机很朴素。
周会记录里有很多东西:项目决策的理由、技术方案的取舍、踩过的坑。东西都在,但想找的时候基本靠运气——记得讨论过,但藏在哪份文件里,真说不准。
我之前的做法是:翻文件名,凭记忆猜大概是哪一周的会,打开,Ctrl+F。
经常找不准。
所以当我读到 Andrej Karpathy 的那篇 Gist——「用 LLM 把原始资料编译成结构化 Wiki」——的时候,我觉得这可能是一个解法。
思路很简单:
1. 原始资料(周会记录)丢进 raw/ 目录
2. 让 AI 读取,编译成结构化的 Wiki 页面(Markdown)
3. 问答时直接读取编译好的页面,而不是每次重新检索原始文档
理论上,这件事做一次,好处吃三年。
二、第一个直观感受:Token 消耗巨大
好歹,在workbuddy知识库专家的帮助下,知识库做成了。
100 多份文件,35 万字,全部入库。WorkBuddy 可以回答「上次关于 XX 项目,我们为什么选了方案 A?」这类问题了。
但有一个直观感受很强烈——Token 消耗巨大。详情可见我上一篇文章:花光Workbuddy2个月积分做知识库,我踩了5个坑
每次让 AI 回答一个问题,它要读取的内容好像越来越多。我没有精确统计,但直观上,随着 Wiki 页面从 10 个涨到 37 个,每次问答的 Token 消耗明显增加。
我当时的想法是:也许本来就是这样,知识库越大,消耗越多,正常。
现在回头看,这个想法当然很天真。但当时的情况是:知识库刚建好,能回答问题了,感觉"有效果"。人在"刚看到效果"的时候,倾向于继续投料,而不是停下来质疑系统本身。
于是我按下了继续优化的键——补充更多资料,扩充知识库,让它更完整。
但 Token 消耗巨大的直观感受,让我隐约觉得「这个方向可能有坑」。只是当时没有想清楚「坑在哪里」。
于是我在公众号里搜 LLM Wiki 相关的文章,想看看别人是怎么做的。然后我刷到了一篇,里面提到了一个词——知识漂移
三、暂停键:我看到了「知识漂移」这个词
本来想按原思路继续扩充知识库。
然后我刷到了一篇文章,里面提到了一个词——「知识漂移」(Knowledge Drift)。
文章的大意是:AI 在编译 Wiki 页面的时候,会对原始内容进行「有损压缩」——它用自己的话重新表述你的原始资料。单次看没什么问题,但经过几轮更新之后,Wiki 页面里的内容,和原始文档之间会出现系统性偏差。
这才是知识漂移(Knowledge Drift)的真正含义——
它不是「错了」,而是「不够精确了」。而在专业领域,「不够精确」就是「错了」。
我读到这段话的时候,终于回过味来了。
我的 Wiki 里,有没有已经「漂掉」的内容?
这个问题我没有答案。但我知道一件事:在搞清楚之前,不应该继续往里喂数据了。
我按下了暂停键。扩充知识库的计划,暂时搁置。先解决「可靠性」问题。
四、混乱:我读了 9 篇文章,然后更迷糊了
我开始的想法很简单:去网上查一下,别人是怎么解决「知识漂移」这个问题的。
然后我掉进了一个兔子洞。
我一共读了 9 篇关于 LLM Wiki 的实践文章(参考文献附后)。读完之后的状态是:更迷糊了。
因为大家讨论的问题,和我要解决的问题,好像不是同一件事——
不是说社区讨论的方向不对,而是——
我面对的是一个「已经建好的知识库,怎么保证它不漂移」的具体问题。而社区里大部分文章在讨论的是「怎么从零开始建一个知识库」。
两个问题不是同一个。
我卡住了,思路很多很杂,已经混乱了。
五、停下来,系统整理了一遍——整理成LLM-Wiki学习笔记
卡住之后…