从 LLM Wiki 到个人 Harness -- 一个开发者的私域知识沉淀实践
Harness Engineering 是 2026 年最热的 AI 工程话题,但争论焦点几乎都集中在"该上多大的模型"和"该搭多复杂的工作流"上。
经过两个月个人知识库实践,我更实际的感受是:工具会一代代更新,但真正能持续复利的,是自己沉淀下来的知识。
本文分享如何把 Karpathy LLM Wiki 的极简骨架扩展成「采集 → 编译 → 蒸馏」三层个人 Harness——读完应带走的是 wiki 语义图谱与 insights 判断层,不是某个 Dagster 仓库。
一、从 Karpathy 的 LLM Wiki 说起
2026 年 4 月初,Andrej Karpathy 在 GitHub 上挂了一条 gist,记录他自己如何用 LLM 把多年笔记编译成可读的 Markdown 维基。那篇 gist 的核心意思可以概括为两点:
AI 让写作和整理变快了,但人的注意力和记忆容量没有变大,知识系统仍然需要可读、可维护的结构; 与其每次查询都临时检索和拼接,不如让 LLM 持续维护一个 Markdown wiki:用 index.md导航,用 wikilinks 连接页面,在中等规模下先把可读结构跑起来。
这个思路很快在中文社区点燃了一轮"本地 AI 知识库浪潮",我也在 4 月加入,按 Karpathy 的思路搭起了自己的 vault。骨架跑了几周后我发现:
Karpathy 给的是骨架,但骨架不长肉。 只有骨架时,我很快撞上三类缺口:外部信号没有稳定入口(raw/ 靠手塞);日记里的半成型想法没法逐条 ingest;读书笔记没有强制把触动点转成行动。真正能让知识复利的,是骨架之上的三层扩展。
1.1 个人 Harness 从哪借来
本文不综述 Harness Engineering。Harness(马具) 借自 Codex、Claude Code、Cursor 等 Agent 工具的共同隐喻——给 LLM 配一组可演化、可累积的工具,让它驮着你走得更远;缩到「一个人 + 一个 Obsidian vault」,就是 个人知识 Harness。
1.2 我的扩展点:从 50 行 gist 到三层结构
把 Karpathy 的 LLM Wiki 当作编译层(下文第二章亦称「骨架」)放在中间,前后两端各延伸一层,就是 Mind-OS 的整体形态:
| 让活水有源 | LLM Wiki 静态骨架 | 让知识不死水 |
/radar-review 自动回顾 | ||
wiki/books/,不经 raw/) |
三层之间的信息流向:
①采集层 ─ingest→ ②编译层 ←结晶回流─ ③蒸馏层
│
query回流
▼
新连接 / 更新引用
①采集层把外部信号过滤进 raw/;②编译层把 raw/ 综合为 wiki/;③知识蒸馏层在日记里捕捉碎片输入,达到一定密度后委托回编译层结晶为正式概念页。Query 回答时还会有一条额外的回流——把对话中产生的新洞察沉淀回 wiki(详见 2.4)。这是一条闭环,而不是直线管道。
下文按「骨架 → 采集 → 阅读 → 蒸馏 → 总结」五章正文 + 一节总结展开。
二、骨架:LLM Wiki 的极简静态编译
任何 Harness 都需要一个可信赖的底座。我的底座就是 Karpathy LLM Wiki 模式——没有任何魔改、最朴素的形态。
2.1 为什么不上 RAG
在动手前我认真考虑过 RAG。结论是:对个人知识库的体量(几百到上千页)来说,RAG 的复杂度溢价不划算。 向量库要维护、chunk 策略要调、检索质量靠 embedding 模型决定、可审查性几乎为零。
LLM Wiki 把"理解"的时间点从查询时挪到了编译时:
RAG 把"理解"放在查询时;LLM Wiki 把"理解"前置到编译时。
这一挪之后,存下来的不再是孤立的 chunks,而是被 LLM 一次性深度综合过的领域语义图谱。下次查询直接读图谱,不再每次现拼。两者并非互斥(LLM Wiki 完全可以作为 RAG 的语料源),但在目前的体量上叠加 RAG 是负向 ROI。完整对比沉淀在了 rag-vs-llm-wiki。
2.2 双层目录:raw 与 wiki 的边界
在编译层内部,数据目录以 raw/wiki 两层划分:
mind-os/
├── raw/ # 人类筛选的原始素材,LLM 只读
│ ├── twitter/ # X/Twitter 精选简报(每日)
│ ├── rss/ # Folo 精选信息简报
│ ├── aihot/ # AI-HOT 日报
│ ├── research/ # 深度调研报告
│ ├── perplexity/ # Perplexity Deep Research
│ └── articles/ # Web 剪藏文章
├── wiki/ # LLM 维护的知识维基
│ ├── index.md # 全局目录(LLM 导航起点)
│ ├── concepts/ # 概念页(一个主题一个文件)
│ ├── entities/ # 实体页(人物、工具、项目、公司)
│ ├── connections/ # 交叉比较、关系图谱
│ ├── insights/ # 人类洞察(LLM 只读,人类独占写入)
│ ├── books/ # 读书笔记(详见第四章)
│ └── log.md # 变更日志(带时间戳)
├── journals/ # 日记(按日自动生成)
├── schema.md # 结构约定(人类拥有)
└── AGENTS.md # LLM Agent 操作指令
两层之间的边界用一张小表固化:
raw/ | ||
wiki/ | ||
wiki/insights/ | 人类独占 |
为什么 wiki/insights/ 要人类独占? 因为它存放的是判断——贵在哪、错在哪、为什么重要——而非事实罗列。AI 综合大量素材后往往只能给出还不错的回答,但很难给出锋利的判断。我一开始让 LLM 也写洞察,一周后回看都像维基百科条目:准确、平庸、缺一击。从那以后把这一层物理隔离——不是因为 AI 写不了,是因为这一层不应该是 AI 写的。
2.3 Frontmatter + Wikilinks:互联的最小约定
每个 wiki 页都以 YAML frontmatter 开头:
---
domain: ai-and-llm
sources: 6
created: 2026-04-13
updated: 2026-04-15
tags: [llm-wiki, karpathy, knowledge-management, markdown, obsidian]
---
字段不多但都有用:domain 按领域分类(7 大领域枚举在 schema.md 固定);sources 记录这页综合了多少素材;created/updated 给 lint 识别过时;tags 喂给 qmd 搜索和 Bases 数据视图。
正文里所有内部引用都用 Obsidian 风格的 wikilinks:distributed-consensus 链向概念页、wiki/entities/cathedral-and-bazaar 链向实体页、raw/twitter/2026-04-15-X精选信息简报.md 链向原始素材。
特别要说红链——指向尚不存在页面的链接。我故意允许它们存在。
为什么允许红链? 因为当 LLM 写到某个值得独立成页但当前未编译的概念时,直接打 wikilink 留一个洞,比省略不写更有价值。红链在 Obsidian 图视图里显示为"未创建节点",它就是知识缺口的可视化。lint 时按被引用次数排序得到"红链清单"——本月哪些概念被引用最多但还没编译?优先编它们。
红链 = 图谱里的待编译信号。 这一招简单到几乎不值得说,但效果出奇好——知识缺口主动呼叫被编译,而不是等人想起来。
Obsidian Graph view 局部视图。节点是 wiki 页面,连线是 wikilinks;颜色不同的高密度节点是当前活跃的领域聚类(AI 与 LLM、分布式系统、Web3、产品想法等)。红链节点会显示为镂空圆圈。
2.4 三大工作流:Ingest / Query / Lint
LLM 在 vault 里只做三件事,全部写在 AGENTS.md 里作为"宪法":
| Ingest(摄入) | raw/,下指令 | wiki/index.md → 建交叉链接 → 追加 wiki/log.md |
| Query(查询) | wiki/index.md 定位(>50 页时用 qmd 辅助)→ 综合回答 → 回流判断(新对比写 connections / 新关联更新交叉引用 / 新洞察追加段落 / 简单事实不回流) | |
| Lint(健康检查) |
Query 的回流机制是这套工作流最被低估的部分。每次回答完成后,LLM 都要判断"这次问答是否值得沉淀回 wiki"。原则只有一条:
有价值的问答不能消失在对话历史里,必须复合增长到 wiki。
这是把"对话"沉淀为"资产"的关键开关。
关键不在工作流本身(每条都很朴素),而在它们写进了 AGENTS.md 作为 Agent 进 vault 第一眼读的文件。把规则前置成"宪法",比靠每次 prompt 手动提醒稳得多。
2.5 当页面超过 50 个:qmd 搜索的引入时机
与 §2.1 同理:未到阈值,不加层。
刚开始几十页时,靠 wiki/index.md 全局目录足够导航。但 wiki 长到约 50 页以后,索引就不够细——LLM 开始读错页或漏掉相关页(例如问 Raft vs Paxos,index 导向了分布式共识页,却漏掉了 tech-radar 里相关信号)。50 页是我的临界点,不是普适阈值。
我装了 qmd——本地 Markdown 搜索引擎,BM25 + 向量语义 + LLM 重排(需 Node.js ≥ 22;首次 qmd embed 会拉取约 4.3GB 量化嵌入模型)。crontab 每小时跑 qmd update && qmd embed 增量更新,整个搜索栈完全本地,并通过 MCP 接入让 Claude Code / Cursor 里的 Agent 直接调用。
引入 qmd 之后,LLM 不再瞎读 index——而是先 qmd query "Raft vs Paxos 在 Mind-OS 里讨论过什么" 拿到 hybrid 搜索 + 重排后的前几篇相关页,再读那几篇综合回答。
2.6 log.md:变更日志比想象中更重要
每次 LLM 改完 vault 必须在 wiki/log.md 顶部追加一段,格式大致是 [update] 概念页 + sources 计数 + 交叉链接变更。
为什么坚持写日志? 两个理由:第一,它让 LLM 可以审计自己——下一次 LLM 进来读 log.md 就能知道"上次跑了什么、改了什么、为什么改",没有这层每次 Agent 都是失忆的;第二,它是我们复盘 LLM 的抓手——哪一次 ingest 漏了交叉引用、哪一次 lint 把红链处理错了,翻 log 就能找到,这些复盘后来都沉淀成了 schema.md 的新规则。
写 frontmatter、打 wikilinks、跑三大工作流——这些都是骨架的搭建动作。骨架真正承载的,是那张领域语义图谱:哪些概念互相咬合、哪些是另一个的反例、哪些是哪段经历的结晶。
这两个月里工具栈我换过几轮,但图谱里"想清楚过的部分"一条没失效。
骨架到这里讲完。下一章讲采集:让活水有源。
三、采集:让活水有源
骨架解决了"知识怎么沉淀",但回答不了"知识从哪来"。
真正决定一个知识库长期价值的,不是工作流的复杂度,而是上游信号的质量。 一个 prompt 工程做得再精巧的 Agent,喂的素材如果是过期的、稀释的、被推荐算法污染过的,长期产出的知识不会有沉淀。
这一章讲三件事:真实信号源分层、Dagster 自动化管线、tech-radar 信号分级 + 自动回顾。
3.1 信号源分层:两条 Dagster 管线 + 三条非 Dagster 通道
raw/ 目录下其实有 6 类信号通道,每个通道对应的"采集成本"和"信号密度"差异很大。我想说清楚一件事:
不是所有通道都值得用 Dagster 编排。 频率稳定、来源结构化、需要 LLM 多步加工的通道,才适合 Dagster;只需要"定时抓一份原文落地"的通道,用 Hermes 抓取脚本就够;按需触发的深度调研,交给 Agent Skills(如
tech-research);剪藏走 Obsidian 原生工具最省心。
我的真实分层:
raw/twitter/ | |||
raw/rss/ | |||
raw/aihot/ | |||
raw/research/ | tech-research Skill 按需触发 | ||
raw/perplexity/ | |||
raw/articles/ |
踩坑诚实记录:我一开始确实想把 6 类通道都塞进 Dagster 编排。设计了几条 asset、跑了一周后发现:AI-HOT 只是把网页内容拉下来落地,不需要 LLM 加工,用 Hermes 一个抓取脚本就够;research 和 perplexity 本质上是"按需触发的深度调研"而不是"周期性增量信号"——硬塞进 Da…