文本如何变成知识图谱:两条方法路线与三个开源项目
把一篇文章变成一张图并不难,难的是让这张图在下一次检索、问答和建模时仍然可信。
很多知识库仍然停留在“切块、向量化、召回、生成”这条直线上。它适合回答与原文表述相近的问题,却不一定能处理跨段落关系、实体别名、事件顺序和知识缺口。
这组材料从五个角度把问题串了起来:两篇方法文章讨论如何从文本抽取概念和关系;rahulnyk/knowledge_graph 提供一个可以在本地运行的轻量实现;nashsu/llm_wiki 把一次性抽取推进到持续维护的个人知识库;microsoft/Ontology-Playground 则把本体设计、可视化和学习做成了一个静态 Web 工作台。
把它们放到一起,会看到一条清楚的演进路线:
自由发现概念 → 用本体约束抽取 → 把知识持续写回 Wiki → 用可视化工具治理 schema。
01
PART
为什么要把文本变成图
TEXT TO KNOWLEDGE GRAPH
知识图谱可以先用一个简单模型理解:节点代表实体、事件或概念,边代表它们之间的关系。与只保存段落向量相比,图结构额外记录了“谁和谁有关、通过什么关系有关、关系出现在哪里”。
这会改变检索方式。
- 从相似度走向路径
:问题不一定与答案段落使用相同词语,但可能能沿着人物、事件、地点或概念之间的路径找到答案。 - 从局部片段走向跨段落连接
:多个段落分别提到同一个对象时,图可以把这些线索聚合起来。 - 从回答问题走向发现问题
:节点度数、社区结构、孤立节点和桥接节点,都可以帮助我们发现知识集中在哪里、断在哪里。 - 从单一检索器走向混合检索
:图查询、图算法、向量相似度和原文证据可以共同决定送给模型的上下文。
但图谱并不是自动获得的“事实层”。它首先是一套由模型抽取出来的结构化假设,必须保留来源、上下文和人工校验入口。
知识图谱项目横向视觉
02
PART
两种从文本建图的路线
TEXT TO KNOWLEDGE GRAPH
01|自由发现型:先让模型看见概念之间的关系
第一篇文章采用的是自由发现路线。它不预先规定实体类型和关系枚举,而是让本地大模型阅读文本块,自己找出重要概念及其语义关系。
基本过程如下:
把语料切成多个文本块,并为每块分配 chunk_id。 让 LLM 从每个文本块中抽取概念和语义关系,把这类关系记为权重 W1。 对同一文本块中共同出现的概念增加“上下文邻近关系”,记为权重 W2。 合并同一节点对,累加权重,拼接不同来源的关系描述。 将合并后的节点和边交给 NetworkX 做图分析,再用 Pyvis 生成可交互的可视化结果。
这里有一个很重要的细节:同一对概念之间可能出现多条边。语义关系回答“它们是什么关系”,上下文邻近回答“它们是否经常一起出现”。合并时保留两类证据,图谱才不至于只剩一张漂亮的连线图。
knowledge_graph 方法流程
这条路线的优点是启动快,适合面对没有固定 schema 的文章、论文和资料集。它也比较适合探索阶段:先看图,再决定哪些实体类别和关系值得正式建模。
代价同样明显。模型可能把未明确出现的概念补进来,也可能把同一对象拆成多个名字。上下文邻近关系还容易过重,导致“同段出现”被误读成“存在事实关系”。
02|本体约束型:先定义要观察什么
第二篇文章把自由度收回来,提出 Graph Maker 路线。用户先定义实体标签和关系类型,模型再按这套本体抽取。
例如,一个人物与地点类知识库可以定义 Person、Place,以及“居住于”“访问”等关系;临床研究则可以换成化合物、用途、效果和反应等领域概念。模型不再完全自由地发明类别,而是被提示集中在应用真正关心的结构上。
Graph Maker 的处理步骤是:
通过 Pydantic 模型定义 Ontology。 将语料切成约 200~500 token 的文本块,具体大小取决于模型上下文窗口和输出复杂度。 把每个文本块封装成带有 text 和 metadata 的 Document。 逐个文档生成子图,再汇总成完整图。 把节点标签、名称、关系、来源 metadata 和顺序信息保存到边模型中。 将结果写入 Neo4j,用 Cypher、图算法、Bloom 或向量检索服务后续查询。
安装和初始化非常直接:
边模型带有 metadata,因此可以记录页码、章节、文章名或其他来源信息;order 字段则可以按文本块顺序观察关系如何逐步出现。这对于书籍、长报告和时间线材料尤其有用。
它还针对工程中最常见的三个问题做了处理:用提示词约束实体类别,尽量减少别名漂移;在 JSON 解析失败时拆分输出并恢复可解析的边;为关系保留上下文,避免最终图谱完全脱离原文。
知识图谱三层架构
不过,本体约束也不是免费午餐。schema 需要领域知识,关系定义得太宽会失去约束,定义得太窄又会漏掉有用信息。更稳妥的做法是先用小样本建立本体,再用真实抽取结果反过来修订标签、关系和别名规则。
03
PART
三个项目分别解决什么问题
TEXT TO KNOWLEDGE GRAPH
1. `rahulnyk/knowledge_graph`:轻量的概念图谱实验场
项目定位很明确:把任意文本转换成知识图谱,用于 Graph Augmented Generation(图增强生成)或基于知识图谱的问答。
它的核心实现集中在 Notebook 和 Python 图处理工具上:
用 Mistral 7B OpenOrca 等本地模型从文本块提取概念。 用 Ollama 承载本地模型,减少对远程模型 API 的依赖。 用 Pandas DataFrame 暂存节点、边、权重和 chunk_id。 用 NetworkX 计算节点度数、社区等图指标。 用 Pyvis 生成可缩放、可拖拽的 Web 图谱。 提供 Docker 启动方式,方便在个人机器上复现实验。
它有一个值得注意的判断:有时“概念”比“实体”更适合作为节点。例如,“Bangalore”是实体,而“Bangalore 的宜人天气”是一个更能表达语义的概念。这个选择会让图谱更丰富,但也提高了归一化和质量控制的要求。
适合谁:想理解文本建图原理、快速做本地实验、验证 GRAG 想法的人。
边界在哪里:它更像研究型原型,不负责完整的知识库生命周期。要用于长期生产,还需要补上实体去重、别名归一化、规则校验、增量更新、权限和证据追踪。
2. `nashsu/llm_wiki`:把图谱放进持续维护的知识库
llm_wik…