前段时间,大神 Andrej Karpathy 发了个两条推特,分享他是怎么做 LLM 知识库的。
他的核心思路其实很简单:
与其每次让 AI 去原始资料里翻答案,不如让 AI 帮你把知识编译成一个持续维护的 wiki。
这话听起来挺对。
但我自己试了试,又跟几个朋友聊完,发现一个问题——
LLM wiki 对学习研究场景是神器,但在内容创作场景和企业知识库场景则不一定。
今天就是和大家聊聊这事儿。
01 学习/研究场景:可以直接用
如果你是在学习、研究某个领域,Karpathy 这套方案几乎可以原样复制。因为这就是大神自己最开始的应用场景。
这套方案本身并不复杂,三层结构:Raw 层、Wiki 层,以及 Schema 层。
硬讲这三层概念太过干巴,我直接从头跑个案例给大家看更直观。
中间用到两个工具:Obsidian、Claude Code。这里默认大家都已经安装 Claude Code 并且会使用(也可以用你们常用的其它 AI 编程工具,如 Codex、Cursor、Qoder、Trae 等)。
打开 Obsidian,点击【创建】,在指定文件夹下创建一个新的仓库。
这就是你接下来的知识库大本营了,虽然现在还空空如也。没关系,继续下一步
用 Claude Code 中打开刚才在 Obsidian 创建的文件夹,然后把 Karpathy 的 llm-wiki.md 链接丢给 Claude Code。
参考这份LLM-wiki指南,在当前项目创建相应知识库结构,目前知识库还没有raw 资料,后续补充:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f
注:对新手来说,最方便的方法是用 IDE 打开然后运行 Claude Code
接着 Claude Code 就会根据 LLM-wiki 创建相应的知识库结构,首次创建的目录包括:raw、wiki、schema,当然它们现在都还是空的。
比如我最近要研究 harness engineering,就可以将自己找到的博客、论文等资料,都以 mardown 的格式丢到 raw 这个文件夹下。
保存资料有个更方便的方法,就是用官方配套的 Obisidian Web Clipper,支持将你看到的好的文章、论文以及 YouTube 视频文稿,一键剪存到 Obisidian 中。
🔗:https://github.com/obsidianmd/obsidian-clipper
不过目前 Obisidian Web Clipper 不支持 B 站视频的剪存,我原本在官方项目中提了 PR 合并,不过没通过,Obsidian CEO 驳回的原因是:Obisidian Web Clipper 只处理从 Defuddle 处理后的内容。
后来我就想着在 Defuddle 项目上提交 PR,但由于没法在本地验证自己的 PR 是否成功,所以最后没提交,而是基于 Obisidian Web Clipper 做了个中文内容增强的插件,大家有需要可以直接使用。
🔗:https://github.com/nextcaicai/obsidian-clipper-cn
接着告诉 Claude Code 摄入 raw 文件夹新添加的资料。
摄入 raw 文件夹新添加的文章
AI 就会根据这些原始资料,自动生成系列 Markdown 文件,所有文…