基于大模型、SKills 的知识管理
今天不聊新工具,聊点更高级的东西——三个巨佬的知识管理哲学
还有我自己的知识管理及内容生成工作流
Karpathy
昨天 Andrej Karpathy(斯坦福 PhD、OpenAI 创始成员、前特斯拉 AI 总监、CS231n(全球最火深度学习课程)缔造者)发了条长推,炸了整个 AI 圈子。
这条推文的核心观点是:他现在把大部分 token 预算花在了"操作知识"上,而不是"操作代码"。
什么意思?
他搭了一套 LLM 驱动的个人知识库系统,用 Obsidian 做前端,Markdown 做底层格式,LLM 负责一切脏活累活。
整个系统的架构可以拆成五个模块:
🧠 Karpathy 知识库系统:五大模块
1. 数据导入(Data Import)
把各种原始素材——论文、文章、代码库、数据集、图片——统统丢进 raw/ 目录。
用 Obsidian Web Clipper 浏览器插件一键裁剪网页文章为 .md 文件,配合快捷键把相关图片下载到本地。
核心思路:先不管三七二十一,把所有原始材料攒在一起。
2. 知识编译(Wiki Compilation)
这是整个系统最核心的一步——让 LLM 把 raw/ 目录里的散碎材料"编译"成一个结构化的维基。
具体做什么?
为每份原始数据生成摘要 建立反向链接(backlinks) 将数据分类到不同的概念 为每个概念撰写专题文章 将所有文章互相链接
注意这个词:编译(compile)
Karpathy 用的是编程的隐喻——原始数据是"源码",维基是"编译产物",LLM 就是那个"编译器"
3. 问答驱动(Q&A)
当维基长到足够大(他举例说他某个研究方向的维基有约 100 篇文章、40 万字),就可以开始向 LLM Agent 提各种复杂问题了。
一个关键的发现:他本以为需要搞复杂的 RAG,但实际上 LLM 自己维护的索引文件和摘要就够用了。
在这个规模下,Agent 可以比较轻松地读取所有重要的相关数据。
这点我必须插一嘴——40 万字对现在的长上下文模型来说真不算什么。
Gemini 的百万 token 窗口,Claude 的 200K 上下文,处理这个量级的知识库绑绑有余。
Karpathy 说不需要 RAG,在这个规模下我同意
4. 输出呈现(Output)
Karpathy 不喜欢在终端里看答案
他更倾向于让 LLM 生成 Markdown 文件、Marp 格式的幻灯片、matplotlib 图表,然后在 Obsidian 里直接查看
更聪明的是:他会把输出"归档"回维基,这样每次探索和查询都会"累积"在知识库里,让它越用越富
5. 健康检查(Health Check)
定期让 LLM 对维基做"体检":
查找数据不一致的地方 用网络搜索填充缺失信息 发现有趣的关联,建议新的文章候选 提出下一步要调查的问题
他说 LLM 在"建议进一步的问题"这件事上做得相当好。这不就是我们说的 Agent 自主探索 吗?
用一张流程图来理解 Karpathy 的系统:
Lex Fridman:把知识库变成跑步伙伴
Karpathy 发完推,Lex Fridman 秒回——他也有类似的系统。
Lex 的身份不用多介绍了吧?全球最火的 AI 播客主持人,他的 Lex Fridman Podcast 采访过 Elon Musk、Sam Altman、Mark Zuckerberg、Karpathy 本人,以及一堆你叫得出名字的科技大佬
Lex 的设置和 Karpathy 类似,但有几个独特的点:
前端混合体:Obsidian + Cursor(用来编辑 .md 文件)+ 自己 vibe-coded 的网页终端
Lex 不满足于 Markdown 的静态渲染——他经常让 LLM 生成动态 HTML 页面(带 JavaScript),这样他可以对数据排序、筛选,交互式地调整可视化
做播客的知识管理需求:因为播客嘉宾覆盖的领域极广,Lex 的研究兴趣数量和多样性远超普通人。
这种场景下知识库方法的优势更明显——你不可能把所有领域的知识都记在脑子里。
最炸裂的用法——跑步语音播客:Lex 会让系统为特定主题生成一个临时的迷你知识库,加载进 LLM,然后在 7-10 英里的长跑中开启语音模式。
跑步的时候,它就变成了一个交互式播客——他可以随时提问、听答案、深入探讨。
你品品:一个人一边跑步一边跟 AI 讨论量子力学或者神经科学。
知识的摄入方式从"坐着读"变成了"边跑边聊"
kepano:Obsidian 创始人的"冷水"
然后 Obsidian 的创始人 kepano(Steph Ango)出来说话了
他没有否定 Karpathy 的方法,而是提出了一个很微妙的警告:
"我更喜欢我的个人 Obsidian 仓库具有高信号噪声比,并且所有内容都有已知的来源。"
kepano 的核心观点:你的个人笔记库应该是"你"的思想的体现,而不是 AI 的。