北大等开源 K12-KGraph:从小学到高中的教材全部整合成知识图谱,既做bench又能训练
一句话讲清楚👉🏻 北大团队从人教版数理化生教材抽出课程结构知识图谱 K12-KGraph ,并据此做成评测集与训练数据:模型在「先学什么、和谁相关、实验验证什么」上明显偏弱;只用约 2300 条文本问答做微调,就能在高考与教育能力基准上超过等量主流微调语料。
论文标题:K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs
论文链接:https://arxiv.org/abs/2605.09635
Github 链接:https://github.com/haolpku/K12-Dataset
数据集链接:https://huggingface.co/datasets/lhpku20010120/K12-KGraph
项目链接:https://haolpku.github.io/K12-KGraph-page/
大模型已经很会做 K-12 考题。 C-Eval 、 CMMLU 、 GaokaoBench 、 EduEval 上,前沿模型常能逼近甚至超过优秀考生。若只看分数,教育场景好像快被做完了。
课辅产品里更常见的卡点是:模型会解「求方程的解」,却排不出「这周该先补算术运算还是直接上方程」,也说不清某道题到底在考哪几个概念、哪套实验在验证哪条规律。论文把这类能力称为课程认知:理解知识如何组织、如何排序、如何被实验与插图支撑,而不只是记住孤立事实。
现有基准几乎不测这一点,主流指令微调数据也很少显式教这一点。缺口不在「再堆一堆题」,而在缺少一份能同时支撑评测与训练的课程结构资源。
一张课程结构图,同时支撑评测和训练
团队的做法是:直接从人教版小学到高中的数学、物理、化学、生物教材 PDF 出发,建成多种节点、多种连线的知识图谱 K12-KGraph 。图分两块:
整图共 9 类节点、 14 类关系。因为边和节点都能追溯到教材原文,团队用同一张图派生两套资源:
Figure 1 : K12-KGraph 五阶段流水线: OCR 解析、按目录切节、按预定结构抽取、自下而上合并、拓扑校验与人工复核。
构建流程也按教材真实形态设计。 MinerU 把 PDF 转成保留层级与公式的 Markdown ;目录解析切成节级文件并挂上插图;再对每一节用带结构约束的提示(论文使用 GPT-5.2 )抽出节点、边,以及证据句或置信度;随后在书级、学科级做去重与别名对齐;最后对分类边与先修边做环检测,保证这两类关系不能绕圈。抽取提示明确要求「只保留教材里真正重要、表述清楚的内容」,边上尽量带回原文证据;全部三元组再经学科合格标注员复核。
图里到底有什么
文本侧覆盖 48 册教材:合并去重后约有概念 6,579 、技能 1,364 、实验 652 、习题 1,171 ;先修边就有 3,705 条。数学没有实验节点,因此「实验验证」类边为 0 。这是课程本身的结构,不是采样漏了。
Table 1 :文本组件按学科统计。化学概念与先修边最密,数学实验为空。
多模态侧另有插图节点约 7,388 、视觉元素约 10,203 。几何图、实验装置、习题附图经常直接给出定义、证据或解题条件。
Table 2 :多模态组件统计。数学插图与视觉元素最多,与教材图示密度一致。
质量上, 12 名学科合格标注员的整体一致性较高( Fleiss’ κ = 0.84 ); K12-Bench 分层抽检中, 98.4% 的样本被判定为完全正确。题目对不对,最终落回图对不对。这比「再让模型写一批选择题」更容易定位错误边。
五种题,专测结构而不是回忆事实
直观一点:学「一元一次方程」前必须先会哪些内容?某道习题在考哪些概念?某实验在验证哪个概念? K12-Bench 用五类题把这些问题问死,并补上「知识点第一次出现在哪一章」。
题目与干扰项都由程序按图规则生成,不是让大模型自由编题。模型只看到题干和四个选项,…