如何搭建本地知识库:llm wiki+gbrain
问题
日常工作里,信息散得到处都是。PDF 在下载文件夹里堆着,网页文章在浏览器收藏夹里吃灰,微信聊天记录里的关键信息过几天就找不到了,邮件里的决策结论沉在收件箱深处。
这些东西有几个共同的问题:
第一,没法统一搜索。想找一个概念,得在文件夹、浏览器、微信、邮箱里分别搜一遍。
第二,格式不统一。PDF、Word、Excel、网页、聊天记录,每种格式有自己的打开方式,没法放在一起检索。
第三,也是最关键的——这些知识对 AI 是不可见的。 大模型再强,也搜不到你本地的 PDF 和微信记录。
我需要一套系统,把所有知识统一存储、结构化管理,既能让我自己快速检索,也能让 AI Agent 直接调用。
方案
最终搭出来的系统由四个组件组成,各司其职。
LLM Wiki 是知识的组织框架。它定义了知识怎么分类、怎么组织。本质就是磁盘上的一套目录结构和 Markdown 文件。按概念、资料来源、人物实体、方法论等分类存放。每个文件用 YAML frontmatter 标记类型、标签、创建时间等元数据。文件之间可以用 [[slug]] 语法互相引用,形成知识网络。这套目录可以直接用 Obsidian 打开,也可以用任何文本编辑器操作。
GBrain 是知识的搜索引擎。底层是 PostgreSQL 数据库加上 pgvector 向量扩展。所有知识存进去之后,它能做几件事:全文搜索(关键词精确匹配)、语义搜索(理解问题意图,找到相关内容,即使关键词不完全一致)、知识图谱(自动提取人物、公司、概念等实体,建立它们之间的关系)、时间线(按时间轴组织事件)。它提供 MCP 接口,AI Agent 可以直接调用这些能力。
Obsidian 是人类的编辑界面。它直接读写 LLM Wiki 目录下的 Markdown 文件,本身不存储任何数据。我喜欢用它是因为图谱视图——能看到知识之间的关联网络,哪些概念连着哪些人物,哪些资料引用了哪些理论。它就是一个可视化窗口。
MarkItDown 是微软出的文件格式转换工具。PDF、Word、Excel、PPT、网页 HTML、甚至图片 OCR 和音频语音转文字,统统转成干净的 Markdown。这是知识入库的关键一步——不管原始文件是什么格式,最终都变成统一的 Markdown 文本。
数据怎么进来
知识进入系统有三种入口,最终都汇到同一条管线。
浏览器上传。 内网有一个上传页面,监听 8199 端口,局域网内任何设备打开浏览器就能用。拖拽文件进去,文件自动进入投递箱目录。
命令行。 直接把文件复制到投递箱目录:cp report.pdf ~/llmwiki/inbox/。
告诉 AI。 对 Agent 说"帮我导入这个 PDF"或"保存这篇文章:{URL}",Agent 会自动处理。
不管哪种方式,文件最终都落到同一个地方:~/llmwiki/inbox/。然后一个叫 watchdog 的后台脚本接管后续处理:
检测到新文件 判断文件类型——文本文件直接处理,二进制文件先用 MarkItDown 转成 Markdown 存档原始文件到 raw/sources/目录(按日期归档)保存转换后的 .md 文件到 wiki/sources/目录导入 GBrain 数据库(存储 + 生成向量索引 + 提取实体关联) 原始文件移到 inbox/.processed/归档
整个过程全自动。用户只需要…