从 LLM Wiki 到个人 Harness -- 一个开发者的私域知识沉淀实践

Harness Engineering 是 2026 年最热的 AI 工程话题,但争论焦点几乎都集中在"该上多大的模型"和"该搭多复杂的工作流"上。

经过两个月个人知识库实践,我更实际的感受是:工具会一代代更新,但真正能持续复利的,是自己沉淀下来的知识。

本文分享如何把 Karpathy LLM Wiki 的极简骨架扩展成「采集 → 编译 → 蒸馏」三层个人 Harness——读完应带走的是 wiki 语义图谱与 insights 判断层,不是某个 Dagster 仓库。


一、从 Karpathy 的 LLM Wiki 说起

2026 年 4 月初,Andrej Karpathy 在 GitHub 上挂了一条 gist,记录他自己如何用 LLM 把多年笔记编译成可读的 Markdown 维基。那篇 gist 的核心意思可以概括为两点:

  • AI 让写作和整理变快了,但人的注意力和记忆容量没有变大,知识系统仍然需要可读、可维护的结构;
  • 与其每次查询都临时检索和拼接,不如让 LLM 持续维护一个 Markdown wiki:用 index.md 导航,用 wikilinks 连接页面,在中等规模下先把可读结构跑起来。

这个思路很快在中文社区点燃了一轮"本地 AI 知识库浪潮",我也在 4 月加入,按 Karpathy 的思路搭起了自己的 vault。骨架跑了几周后我发现:

Karpathy 给的是骨架,但骨架不长肉。 只有骨架时,我很快撞上三类缺口:外部信号没有稳定入口(raw/ 靠手塞);日记里的半成型想法没法逐条 ingest;读书笔记没有强制把触动点转成行动。真正能让知识复利的,是骨架之上的三层扩展。

1.1 个人 Harness 从哪借来

本文不综述 Harness Engineering。Harness(马具) 借自 Codex、Claude Code、Cursor 等 Agent 工具的共同隐喻——给 LLM 配一组可演化、可累积的工具,让它驮着你走得更远;缩到「一个人 + 一个 Obsidian vault」,就是 个人知识 Harness。

1.2 我的扩展点:从 50 行 gist 到三层结构

把 Karpathy 的 LLM Wiki 当作编译层(下文第二章亦称「骨架」)放在中间,前后两端各延伸一层,就是 Mind-OS 的整体形态:

① 采集层
② 编译层
③ 知识蒸馏层
让活水有源LLM Wiki 静态骨架让知识不死水
· Dagster 编排
· raw / wiki 双层
· 日记 + 活线程
· 多源摄入(Twitter / RSS / 调研 / Hermes 抓取)
· schema.md 约定
· 5 代理 Distill 体系
· tech-radar 信号分级
· YAML frontmatter
(Lumina / Prism / Vector / Nexus / Ember)
· /radar-review 自动回顾
· wikilinks + 红链
· 跨书共现密度追踪 → 委托 Nexus 结晶

· ingest / query / lint 三工作流


· qmd 语义搜索


· RIA 读书 + weread-skills(直连 wiki/books/,不经 raw/)

三层之间的信息流向:

①采集层 ─ingest→ ②编译层 ←结晶回流─ ③蒸馏层
                    │
                 query回流
                    ▼
              新连接 / 更新引用

①采集层把外部信号过滤进 raw/;②编译层把 raw/ 综合为 wiki/;③知识蒸馏层在日记里捕捉碎片输入,达到一定密度后委托回编译层结晶为正式概念页。Query 回答时还会有一条额外的回流——把对话中产生的新洞察沉淀回 wiki(详见 2.4)。这是一条闭环,而不是直线管道。

下文按「骨架 → 采集 → 阅读 → 蒸馏 → 总结」五章正文 + 一节总结展开。


二、骨架:LLM Wiki 的极简静态编译

任何 Harness 都需要一个可信赖的底座。我的底座就是 Karpathy LLM Wiki 模式——没有任何魔改、最朴素的形态。

2.1 为什么不上 RAG

在动手前我认真考虑过 RAG。结论是:对个人知识库的体量(几百到上千页)来说,RAG 的复杂度溢价不划算。 向量库要维护、chunk 策略要调、检索质量靠 embedding 模型决定、可审查性几乎为零。

LLM Wiki 把"理解"的时间点从查询时挪到了编译时:

RAG 把"理解"放在查询时;LLM Wiki 把"理解"前置到编译时。

这一挪之后,存下来的不再是孤立的 chunks,而是被 LLM 一次性深度综合过的领域语义图谱。下次查询直接读图谱,不再每次现拼。两者并非互斥(LLM Wiki 完全可以作为 RAG 的语料源),但在目前的体量上叠加 RAG 是负向 ROI。完整对比沉淀在了 rag-vs-llm-wiki。

2.2 双层目录:raw 与 wiki 的边界

在编译层内部,数据目录以 raw/wiki 两层划分:

mind-os/
├── raw/                   # 人类筛选的原始素材,LLM 只读
│   ├── twitter/           # X/Twitter 精选简报(每日)
│   ├── rss/               # Folo 精选信息简报
│   ├── aihot/             # AI-HOT 日报
│   ├── research/          # 深度调研报告
│   ├── perplexity/        # Perplexity Deep Research
│   └── articles/          # Web 剪藏文章
├── wiki/                  # LLM 维护的知识维基
│   ├── index.md           # 全局目录(LLM 导航起点)
│   ├── concepts/          # 概念页(一个主题一个文件)
│   ├── entities/          # 实体页(人物、工具、项目、公司)
│   ├── connections/       # 交叉比较、关系图谱
│   ├── insights/          # 人类洞察(LLM 只读,人类独占写入)
│   ├── books/             # 读书笔记(详见第四章)
│   └── log.md             # 变更日志(带时间戳)
├── journals/              # 日记(按日自动生成)
├── schema.md              # 结构约定(人类拥有)
└── AGENTS.md              # LLM Agent 操作指令

两层之间的边界用一张小表固化:

边界
谁可以写
谁可以读
raw/
人类(事实来源)
人类 + LLM
wiki/
(除 insights)
LLM(人类审阅)
人类 + LLM
wiki/insights/人类独占
人类 + LLM(仅引用)

为什么 wiki/insights/ 要人类独占? 因为它存放的是判断——贵在哪、错在哪、为什么重要——而非事实罗列。AI 综合大量素材后往往只能给出还不错的回答,但很难给出锋利的判断。我一开始让 LLM 也写洞察,一周后回看都像维基百科条目:准确、平庸、缺一击。从那以后把这一层物理隔离——不是因为 AI 写不了,是因为这一层不应该是 AI 写的。

2.3 Frontmatter + Wikilinks:互联的最小约定

每个 wiki 页都以 YAML frontmatter 开头:

---
domain: ai-and-llm
sources: 6
created: 2026-04-13
updated: 2026-04-15
tags: [llm-wiki, karpathy, knowledge-management, markdown, obsidian]
---

字段不多但都有用:domain 按领域分类(7 大领域枚举在 schema.md 固定);sources 记录这页综合了多少素材;created/updated 给 lint 识别过时;tags 喂给 qmd 搜索和 Bases 数据视图。

正文里所有内部引用都用 Obsidian 风格的 wikilinks:distributed-consensus 链向概念页、wiki/entities/cathedral-and-bazaar 链向实体页、raw/twitter/2026-04-15-X精选信息简报.md 链向原始素材。

特别要说红链——指向尚不存在页面的链接。我故意允许它们存在。

为什么允许红链? 因为当 LLM 写到某个值得独立成页但当前未编译的概念时,直接打 wikilink 留一个洞,比省略不写更有价值。红链在 Obsidian 图视图里显示为"未创建节点",它就是知识缺口的可视化。lint 时按被引用次数排序得到"红链清单"——本月哪些概念被引用最多但还没编译?优先编它们。

红链 = 图谱里的待编译信号。 这一招简单到几乎不值得说,但效果出奇好——知识缺口主动呼叫被编译,而不是等人想起来。

Obsidian Graph view 局部视图。节点是 wiki 页面,连线是 wikilinks;颜色不同的高密度节点是当前活跃的领域聚类(AI 与 LLM、分布式系统、Web3、产品想法等)。红链节点会显示为镂空圆圈。

2.4 三大工作流:Ingest / Query / Lint

LLM 在 vault 里只做三件事,全部写在 AGENTS.md 里作为"宪法":

工作流
触发方式
关键动作
Ingest(摄入)
人类把素材塞进 raw/,下指令
读素材 → 写/更新 concept/entity 页 → 更新 wiki/index.md → 建交叉链接 → 追加 wiki/log.md
Query(查询)
人类提问
读 wiki/index.md 定位(>50 页时用 qmd 辅助)→ 综合回答 → 回流判断(新对比写 connections / 新关联更新交叉引用 / 新洞察追加段落 / 简单事实不回流)
Lint(健康检查)
定期 / 人类下指令
扫孤页、过时内容、断链、红链清单、frontmatter 缺失、矛盾

Query 的回流机制是这套工作流最被低估的部分。每次回答完成后,LLM 都要判断"这次问答是否值得沉淀回 wiki"。原则只有一条:

有价值的问答不能消失在对话历史里,必须复合增长到 wiki。

这是把"对话"沉淀为"资产"的关键开关。

关键不在工作流本身(每条都很朴素),而在它们写进了 AGENTS.md 作为 Agent 进 vault 第一眼读的文件。把规则前置成"宪法",比靠每次 prompt 手动提醒稳得多。

2.5 当页面超过 50 个:qmd 搜索的引入时机

与 §2.1 同理:未到阈值,不加层。

刚开始几十页时,靠 wiki/index.md 全局目录足够导航。但 wiki 长到约 50 页以后,索引就不够细——LLM 开始读错页或漏掉相关页(例如问 Raft vs Paxos,index 导向了分布式共识页,却漏掉了 tech-radar 里相关信号)。50 页是我的临界点,不是普适阈值。

我装了 qmd——本地 Markdown 搜索引擎,BM25 + 向量语义 + LLM 重排(需 Node.js ≥ 22;首次 qmd embed 会拉取约 4.3GB 量化嵌入模型)。crontab 每小时跑 qmd update && qmd embed 增量更新,整个搜索栈完全本地,并通过 MCP 接入让 Claude Code / Cursor 里的 Agent 直接调用。

引入 qmd 之后,LLM 不再瞎读 index——而是先 qmd query "Raft vs Paxos 在 Mind-OS 里讨论过什么" 拿到 hybrid 搜索 + 重排后的前几篇相关页,再读那几篇综合回答。

2.6 log.md:变更日志比想象中更重要

每次 LLM 改完 vault 必须在 wiki/log.md 顶部追加一段,格式大致是 [update] 概念页 + sources 计数 + 交叉链接变更。

为什么坚持写日志? 两个理由:第一,它让 LLM 可以审计自己——下一次 LLM 进来读 log.md 就能知道"上次跑了什么、改了什么、为什么改",没有这层每次 Agent 都是失忆的;第二,它是我们复盘 LLM 的抓手——哪一次 ingest 漏了交叉引用、哪一次 lint 把红链处理错了,翻 log 就能找到,这些复盘后来都沉淀成了 schema.md 的新规则。


写 frontmatter、打 wikilinks、跑三大工作流——这些都是骨架的搭建动作。骨架真正承载的,是那张领域语义图谱:哪些概念互相咬合、哪些是另一个的反例、哪些是哪段经历的结晶。

这两个月里工具栈我换过几轮,但图谱里"想清楚过的部分"一条没失效。

骨架到这里讲完。下一章讲采集:让活水有源。


三、采集:让活水有源

骨架解决了"知识怎么沉淀",但回答不了"知识从哪来"。

真正决定一个知识库长期价值的,不是工作流的复杂度,而是上游信号的质量。 一个 prompt 工程做得再精巧的 Agent,喂的素材如果是过期的、稀释的、被推荐算法污染过的,长期产出的知识不会有沉淀。

这一章讲三件事:真实信号源分层、Dagster 自动化管线、tech-radar 信号分级 + 自动回顾。

3.1 信号源分层:两条 Dagster 管线 + 三条非 Dagster 通道

raw/ 目录下其实有 6 类信号通道,每个通道对应的"采集成本"和"信号密度"差异很大。我想说清楚一件事:

不是所有通道都值得用 Dagster 编排。 频率稳定、来源结构化、需要 LLM 多步加工的通道,才适合 Dagster;只需要"定时抓一份原文落地"的通道,用 Hermes 抓取脚本就够;按需触发的深度调研,交给 Agent Skills(如 tech-research);剪藏走 Obsidian 原生工具最省心。

我的真实分层:

通道
形态
落地路径
触发方式
X/Twitter 精选简报
Dagster 编排
raw/twitter/
hourly schedule
RSS/Folo 精选简报
Dagster 编排
raw/rss/
daily schedule
AI-HOT 日报
Hermes 自动抓取
raw/aihot/
每天定时
深度调研报告
Agent Skill
raw/research/
Cursor / Codex 调用 tech-research Skill 按需触发
Perplexity Deep Research
在线 Agent
raw/perplexity/
人工导出 / 网页 Deep Research 落地
Web 剪藏
Obsidian Web Clipper
raw/articles/
人工剪藏

踩坑诚实记录:我一开始确实想把 6 类通道都塞进 Dagster 编排。设计了几条 asset、跑了一周后发现:AI-HOT 只是把网页内容拉下来落地,不需要 LLM 加工,用 Hermes 一个抓取脚本就够;research 和 perplexity 本质上是"按需触发的深度调研"而不是"周期性增量信号"——硬塞进 Da…

— 以上为试看内容(约 40%),开通会员后阅读全文 —