文本如何变成知识图谱:两条方法路线与三个开源项目

知识工程手记2026.08

文本如何变成知识图谱

两条方法路线,三个开源项目,一条从抽取到治理的完整链路

抽取只是起点,可信、可检索、可维护才是终点

Graph RAGOntology

把一篇文章变成一张图并不难,难的是让这张图在下一次检索、问答和建模时仍然可信。

很多知识库仍然停留在“切块、向量化、召回、生成”这条直线上。它适合回答与原文表述相近的问题,却不一定能处理跨段落关系、实体别名、事件顺序和知识缺口。

这组材料从五个角度把问题串了起来:两篇方法文章讨论如何从文本抽取概念和关系;rahulnyk/knowledge_graph 提供一个可以在本地运行的轻量实现;nashsu/llm_wiki 把一次性抽取推进到持续维护的个人知识库;microsoft/Ontology-Playground 则把本体设计、可视化和学习做成了一个静态 Web 工作台。

把它们放到一起,会看到一条清楚的演进路线:

自由发现概念 → 用本体约束抽取 → 把知识持续写回 Wiki → 用可视化工具治理 schema。

01

PART

为什么要把文本变成图

TEXT TO KNOWLEDGE GRAPH

知识图谱可以先用一个简单模型理解:节点代表实体、事件或概念,边代表它们之间的关系。与只保存段落向量相比,图结构额外记录了“谁和谁有关、通过什么关系有关、关系出现在哪里”。

这会改变检索方式。

  • 从相似度走向路径
    :问题不一定与答案段落使用相同词语,但可能能沿着人物、事件、地点或概念之间的路径找到答案。
  • 从局部片段走向跨段落连接
    :多个段落分别提到同一个对象时,图可以把这些线索聚合起来。
  • 从回答问题走向发现问题
    :节点度数、社区结构、孤立节点和桥接节点,都可以帮助我们发现知识集中在哪里、断在哪里。
  • 从单一检索器走向混合检索
    :图查询、图算法、向量相似度和原文证据可以共同决定送给模型的上下文。

但图谱并不是自动获得的“事实层”。它首先是一套由模型抽取出来的结构化假设,必须保留来源、上下文和人工校验入口。

知识图谱项目横向视觉

02

PART

两种从文本建图的路线

TEXT TO KNOWLEDGE GRAPH

01|自由发现型:先让模型看见概念之间的关系

第一篇文章采用的是自由发现路线。它不预先规定实体类型和关系枚举,而是让本地大模型阅读文本块,自己找出重要概念及其语义关系。

基本过程如下:

  1. 把语料切成多个文本块,并为每块分配 chunk_id。
  2. 让 LLM 从每个文本块中抽取概念和语义关系,把这类关系记为权重 W1。
  3. 对同一文本块中共同出现的概念增加“上下文邻近关系”,记为权重 W2。
  4. 合并同一节点对,累加权重,拼接不同来源的关系描述。
  5. 将合并后的节点和边交给 NetworkX 做图分析,再用 Pyvis 生成可交互的可视化结果。

这里有一个很重要的细节:同一对概念之间可能出现多条边。语义关系回答“它们是什么关系”,上下文邻近回答“它们是否经常一起出现”。合并时保留两类证据,图谱才不至于只剩一张漂亮的连线图。

knowledge_graph 方法流程

这条路线的优点是启动快,适合面对没有固定 schema 的文章、论文和资料集。它也比较适合探索阶段:先看图,再决定哪些实体类别和关系值得正式建模。

代价同样明显。模型可能把未明确出现的概念补进来,也可能把同一对象拆成多个名字。上下文邻近关系还容易过重,导致“同段出现”被误读成“存在事实关系”。

02|本体约束型:先定义要观察什么

第二篇文章把自由度收回来,提出 Graph Maker 路线。用户先定义实体标签和关系类型,模型再按这套本体抽取。

例如,一个人物与地点类知识库可以定义 Person、Place,以及“居住于”“访问”等关系;临床研究则可以换成化合物、用途、效果和反应等领域概念。模型不再完全自由地发明类别,而是被提示集中在应用真正关心的结构上。

Graph Maker 的处理步骤是:

  1. 通过 Pydantic 模型定义 Ontology。
  2. 将语料切成约 200~500 token 的文本块,具体大小取决于模型上下文窗口和输出复杂度。
  3. 把每个文本块封装成带有 text 和 metadata 的 Document。
  4. 逐个文档生成子图,再汇总成完整图。
  5. 把节点标签、名称、关系、来源 metadata 和顺序信息保存到边模型中。
  6. 将结果写入 Neo4j,用 Cypher、图算法、Bloom 或向量检索服务后续查询。

安装和初始化非常直接:

.bash

pip install knowledge-graph-maker

边模型带有 metadata,因此可以记录页码、章节、文章名或其他来源信息;order 字段则可以按文本块顺序观察关系如何逐步出现。这对于书籍、长报告和时间线材料尤其有用。

它还针对工程中最常见的三个问题做了处理:用提示词约束实体类别,尽量减少别名漂移;在 JSON 解析失败时拆分输出并恢复可解析的边;为关系保留上下文,避免最终图谱完全脱离原文。

知识图谱三层架构

不过,本体约束也不是免费午餐。schema 需要领域知识,关系定义得太宽会失去约束,定义得太窄又会漏掉有用信息。更稳妥的做法是先用小样本建立本体,再用真实抽取结果反过来修订标签、关系和别名规则。

03

PART

三个项目分别解决什么问题

TEXT TO KNOWLEDGE GRAPH

1. `rahulnyk/knowledge_graph`:轻量的概念图谱实验场

项目定位很明确:把任意文本转换成知识图谱,用于 Graph Augmented Generation(图增强生成)或基于知识图谱的问答。

它的核心实现集中在 Notebook 和 Python 图处理工具上:

  • 用 Mistral 7B OpenOrca 等本地模型从文本块提取概念。
  • 用 Ollama 承载本地模型,减少对远程模型 API 的依赖。
  • 用 Pandas DataFrame 暂存节点、边、权重和 chunk_id。
  • 用 NetworkX 计算节点度数、社区等图指标。
  • 用 Pyvis 生成可缩放、可拖拽的 Web 图谱。
  • 提供 Docker 启动方式,方便在个人机器上复现实验。

它有一个值得注意的判断:有时“概念”比“实体”更适合作为节点。例如,“Bangalore”是实体,而“Bangalore 的宜人天气”是一个更能表达语义的概念。这个选择会让图谱更丰富,但也提高了归一化和质量控制的要求。

适合谁:想理解文本建图原理、快速做本地实验、验证 GRAG 想法的人。

边界在哪里:它更像研究型原型,不负责完整的知识库生命周期。要用于长期生产,还需要补上实体去重、别名归一化、规则校验、增量更新、权限和证据追踪。

2. `nashsu/llm_wiki`:把图谱放进持续维护的知识库

llm_wik…

— 以上为试看内容(约 40%),开通会员后阅读全文 —