LLM Wiki:让对话真正沉淀下来

当我们和模型对话、处理文档时,可能会产生一种感觉:模型读过了,好像它就学会了。

比如在一个对话里,告诉模型一种不存在的语言,或者告诉它一台尚未发布的苹果手机的详细参数。它可能根据这些信息继续推理、翻译、分析,甚至回答得很像真的「懂了」。

但如果你关闭这个对话后重新开启新对话,再问它同样的问题,模型大概率不知道。

这不是模型装傻,而是因为模型没有被训练。

模型可以粗略理解为一个巨大的压缩包: 训练阶段把大量知识压缩进参数里;推理阶段,模型根据你的提示词和上下文,把相关能力临时展开。

但这个压缩包本身不会因为你和它聊了一次,就自动改写。

你给它的新材料、新规则、新案例,进入的是当前上下文,不是模型参数。它可以在这一轮对话里使用这些信息,但不会因此把它们变成自己的长期知识。

所以,AI 问答的问题不只是「检索准不准」,而是它不是在一个持续生长的知识系统上工作,而是在一次次临时上下文里工作。对话结束,工作台就收掉了。除非你把结果沉淀下来,否则这些对话产生的价值不会自然积累。

我之前习惯性地将模型对话提取出来存放在笔记软件里,但很难做到持续、系统的维护。整个事情的重点不是文字本身,而是如何来维护。

Karpathy 提出了 LLM Wiki 这个框架:不要指望模型自己记住一切,而是让模型维护一个外部 wiki。模型负责读取、提取、合并、链接、更新;wiki 负责保存、积累、迁移和审计。

我的版本

Karpathy 给了结构,但没有规定具体怎么让 AI 严格执行规则。以下是我实际搭建的版本。

目录结构

首先创建 raw 和 wiki 文件夹,以及 index.md 和 log.md 文档。实际使用时可根据材料类型在 raw/ 和 wiki/ 下细分(完整结构见附录一):

llm-wiki/
├── raw/          # 原始资料,只放不改
├── wiki/         # AI 维护后的知识页面
├── index.md      # 知识库入口
├── log.md        # 每次处理记录
└── AGENT.md      # 给 AI 的工作规则

从目录结构看,LLM Wiki 很简单:

把原始材料放进只读的 raw/ → AI 读取并讨论关键收获 → 写入 wiki/ → 更新 index.md 和日志

但真正决定这套系统能否长期运行的,不是目录,而是规则层。没有规则,AI 会把知识库变成另一堆随手写的文件;有了规则,AI 才知道什么能动、什么不能动、怎么写、往哪写、凭什么写。

六条关键规则

1. raw/ 只读不改

AI 可以读 `raw/` 提取事实,但不能创建、删除、改名或修改其中任何文件。`raw/` 是原始材料,不是 AI 产物。

2. 合并优先于新建

新材料进来时,先查 wiki 是否已有相关页面。有就合并,没有才新建。避免 wiki 变成按时间堆叠的「另一份 raw」。

3. 默认可追溯

wiki 里每条重要信息必须标注来源,没有来源支撑的内容不能写入事实区。来源链接必须是可点击的,冲突信息不能静默覆盖,应并列展示不同版本。

4. 项目级权限控制

AI 在用户确认前不能修改任何文件。确认后也只能改 `wiki/`、`index.md`、`log.md` 等处理对象字段。

5. 操作留痕

每次操作后更新 `log.md`;新建 wiki 页面后必须更新 `index.md`。log 只记录已完成事项、变更结果和遗留问题,不写行动计划。

6. 页面不删,只标注废弃或合并

wiki 页面原则上不删除。过时、重复或边界错误时,优先合并内容,标记「已废弃」或归档。

以上六条规则落在文件里就是 AGENT.md(详见附录一)。

TASK.md:一张工单

Karpathy 没有把 LLM Wiki 框定为「用户手动维护」或「AI 全自动维护」。他强调的是监督程度:可以一次只摄入一个来源并保持参与,也可以批量摄入但监督更少。

我在这个光谱中选择了半自动化方案,基于三个原因。

原因一:认知参与

这不是技术上的理由。如果流程变成「材料扔进 raw → AI 自动处理 → wiki 自动更新」,看起来很顺,但最后很容易变成「没有然后」。

知识库被更新了,摘要被生成了,链接被建立了——可我并没有真正参与理解。我并没有诚实地回答:

•这份材料为什么重要?
•它改变了我原来的什么看法?
•它和已有知识有什么冲突?

如果这些问题没有被提出,wiki 会不会变成另一种形式的笔记坟墓。

原因二:会话跑偏

实际与 AI 聊天时,很少从头到尾只谈一件事。开头聊 A 话题,中间冒出 B 话题,后面大部分讨论都围绕 B 展开。AI 执行 AGENT.md 时容易被最长那条对话带偏,而不是聚焦在应该处理的那…

— 以上为试看内容(约 40%),开通会员后阅读全文 —