北大等开源 K12-KGraph:从小学到高中的教材全部整合成知识图谱,既做bench又能训练

一句话讲清楚👉🏻 北大团队从人教版数理化生教材抽出课程结构知识图谱 K12-KGraph ,并据此做成评测集与训练数据:模型在「先学什么、和谁相关、实验验证什么」上明显偏弱;只用约 2300 条文本问答做微调,就能在高考与教育能力基准上超过等量主流微调语料。

  • 论文标题:K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

  • 论文链接:https://arxiv.org/abs/2605.09635

  • Github 链接:https://github.com/haolpku/K12-Dataset

  • 数据集链接:https://huggingface.co/datasets/lhpku20010120/K12-KGraph

  • 项目链接:https://haolpku.github.io/K12-KGraph-page/

大模型已经很会做 K-12 考题。 C-Eval 、 CMMLU 、 GaokaoBench 、 EduEval 上,前沿模型常能逼近甚至超过优秀考生。若只看分数,教育场景好像快被做完了。

课辅产品里更常见的卡点是:模型会解「求方程的解」,却排不出「这周该先补算术运算还是直接上方程」,也说不清某道题到底在考哪几个概念、哪套实验在验证哪条规律。论文把这类能力称为课程认知:理解知识如何组织、如何排序、如何被实验与插图支撑,而不只是记住孤立事实。

现有基准几乎不测这一点,主流指令微调数据也很少显式教这一点。缺口不在「再堆一堆题」,而在缺少一份能同时支撑评测与训练的课程结构资源。

一张课程结构图,同时支撑评测和训练

团队的做法是:直接从人教版小学到高中的数学、物理、化学、生物教材 PDF 出发,建成多种节点、多种连线的知识图谱 K12-KGraph 。图分两块:

■文本组件:概念、技能、实验、习题,以及节、章、书等容器;边刻画分类、先修、关联、实验验证、习题考查、出现位置、章节顺序等。
■多模态组件:新增插图节点与视觉元素节点,边覆盖图内组成、视觉指称、图示解释、习题对图的依赖,以及「图为某条关系提供视觉证据」。

整图共 9 类节点、 14 类关系。因为边和节点都能追溯到教材原文,团队用同一张图派生两套资源:

1.K12-Bench : 23,640 道多选题,考查课程结构理解;
2.K12-Train : 7,335 条监督微调样本(其中文本 2,267 、多模态视觉问答 5,068 )。

Figure 1 : K12-KGraph 五阶段流水线: OCR 解析、按目录切节、按预定结构抽取、自下而上合并、拓扑校验与人工复核。

构建流程也按教材真实形态设计。 MinerU 把 PDF 转成保留层级与公式的 Markdown ;目录解析切成节级文件并挂上插图;再对每一节用带结构约束的提示(论文使用 GPT-5.2 )抽出节点、边,以及证据句或置信度;随后在书级、学科级做去重与别名对齐;最后对分类边与先修边做环检测,保证这两类关系不能绕圈。抽取提示明确要求「只保留教材里真正重要、表述清楚的内容」,边上尽量带回原文证据;全部三元组再经学科合格标注员复核。

图里到底有什么

文本侧覆盖 48 册教材:合并去重后约有概念 6,579 、技能 1,364 、实验 652 、习题 1,171 ;先修边就有 3,705 条。数学没有实验节点,因此「实验验证」类边为 0 。这是课程本身的结构,不是采样漏了。

Table 1 :文本组件按学科统计。化学概念与先修边最密,数学实验为空。

多模态侧另有插图节点约 7,388 、视觉元素约 10,203 。几何图、实验装置、习题附图经常直接给出定义、证据或解题条件。

Table 2 :多模态组件统计。数学插图与视觉元素最多,与教材图示密度一致。

质量上, 12 名学科合格标注员的整体一致性较高( Fleiss’ κ = 0.84 ); K12-Bench 分层抽检中, 98.4% 的样本被判定为完全正确。题目对不对,最终落回图对不对。这比「再让模型写一批选择题」更容易定位错误边。

五种题,专测结构而不是回忆事实

直观一点:学「一元一次方程」前必须先会哪些内容?某道习题在考哪些概念?某实验在验证哪个概念? K12-Bench 用五类题把这些问题问死,并补上「知识点第一次出现在哪一章」。

题目与干扰项都由程序按图规则生成,不是让大模型自由编题。模型只看到题干和四个选项,…

— 以上为试看内容(约 40%),开通会员后阅读全文 —