LLM Wiki:让对话真正沉淀下来
当我们和模型对话、处理文档时,可能会产生一种感觉:模型读过了,好像它就学会了。
比如在一个对话里,告诉模型一种不存在的语言,或者告诉它一台尚未发布的苹果手机的详细参数。它可能根据这些信息继续推理、翻译、分析,甚至回答得很像真的「懂了」。
但如果你关闭这个对话后重新开启新对话,再问它同样的问题,模型大概率不知道。
这不是模型装傻,而是因为模型没有被训练。
模型可以粗略理解为一个巨大的压缩包: 训练阶段把大量知识压缩进参数里;推理阶段,模型根据你的提示词和上下文,把相关能力临时展开。
但这个压缩包本身不会因为你和它聊了一次,就自动改写。
你给它的新材料、新规则、新案例,进入的是当前上下文,不是模型参数。它可以在这一轮对话里使用这些信息,但不会因此把它们变成自己的长期知识。
所以,AI 问答的问题不只是「检索准不准」,而是它不是在一个持续生长的知识系统上工作,而是在一次次临时上下文里工作。对话结束,工作台就收掉了。除非你把结果沉淀下来,否则这些对话产生的价值不会自然积累。
我之前习惯性地将模型对话提取出来存放在笔记软件里,但很难做到持续、系统的维护。整个事情的重点不是文字本身,而是如何来维护。
Karpathy 提出了 LLM Wiki 这个框架:不要指望模型自己记住一切,而是让模型维护一个外部 wiki。模型负责读取、提取、合并、链接、更新;wiki 负责保存、积累、迁移和审计。
我的版本
Karpathy 给了结构,但没有规定具体怎么让 AI 严格执行规则。以下是我实际搭建的版本。
目录结构
首先创建 raw 和 wiki 文件夹,以及 index.md 和 log.md 文档。实际使用时可根据材料类型在 raw/ 和 wiki/ 下细分(完整结构见附录一):
从目录结构看,LLM Wiki 很简单:
把原始材料放进只读的 raw/ → AI 读取并讨论关键收获 → 写入 wiki/ → 更新 index.md 和日志
但真正决定这套系统能否长期运行的,不是目录,而是规则层。没有规则,AI 会把知识库变成另一堆随手写的文件;有了规则,AI 才知道什么能动、什么不能动、怎么写、往哪写、凭什么写。
六条关键规则
1. raw/ 只读不改
AI 可以读 `raw/` 提取事实,但不能创建、删除、改名或修改其中任何文件。`raw/` 是原始材料,不是 AI 产物。
2. 合并优先于新建
新材料进来时,先查 wiki 是否已有相关页面。有就合并,没有才新建。避免 wiki 变成按时间堆叠的「另一份 raw」。
3. 默认可追溯
wiki 里每条重要信息必须标注来源,没有来源支撑的内容不能写入事实区。来源链接必须是可点击的,冲突信息不能静默覆盖,应并列展示不同版本。
4. 项目级权限控制
AI 在用户确认前不能修改任何文件。确认后也只能改 `wiki/`、`index.md`、`log.md` 等处理对象字段。
5. 操作留痕
每次操作后更新 `log.md`;新建 wiki 页面后必须更新 `index.md`。log 只记录已完成事项、变更结果和遗留问题,不写行动计划。
6. 页面不删,只标注废弃或合并
wiki 页面原则上不删除。过时、重复或边界错误时,优先合并内容,标记「已废弃」或归档。
以上六条规则落在文件里就是 AGENT.md(详见附录一)。
TASK.md:一张工单
Karpathy 没有把 LLM Wiki 框定为「用户手动维护」或「AI 全自动维护」。他强调的是监督程度:可以一次只摄入一个来源并保持参与,也可以批量摄入但监督更少。
我在这个光谱中选择了半自动化方案,基于三个原因。
原因一:认知参与
这不是技术上的理由。如果流程变成「材料扔进 raw → AI 自动处理 → wiki 自动更新」,看起来很顺,但最后很容易变成「没有然后」。
知识库被更新了,摘要被生成了,链接被建立了——可我并没有真正参与理解。我并没有诚实地回答:
如果这些问题没有被提出,wiki 会不会变成另一种形式的笔记坟墓。
原因二:会话跑偏
实际与 AI 聊天时,很少从头到尾只谈一件事。开头聊 A 话题,中间冒出 B 话题,后面大部分讨论都围绕 B 展开。AI 执行 AGENT.md 时容易被最长那条对话带偏,而不是聚焦在应该处理的那…