面向长文档本体构建的增量式上下文感知融合方法



编者荐语


本文围绕长文档本体构建中上下文窗口受限、信息冗余与一致性冲突等关键问题,提出增量式上下文感知融合方法。研究从文档预处理、本体迭代构建与上下文压缩机制出发,系统设计并比较四类构建方案,尤其通过检索式增量与渐进式披露实现Prompt长度控制、本体规模解耦与语义一致性维护,为大规模知识工程自动化落地提供了清晰且具有实践价值的技术路径。


点击视频,快速了解全文核心干货



面向长文档本体构建的增量式上下文感知融合方法


亚信科技(中国)有限公司


摘要:本体作为语义网与知识工程的核心构件,为数据互操作、知识推理与智能问答奠定基础。然而传统本体构建高度依赖领域专家手工建模,周期长、成本高,难以支撑大规模知识工程落地。大语言模型的兴起为自动化本体构建提供了新路径,但面对多格式、大体量长文档时,迭代过程中已构建本体内容线性增长,极易超出主流LLM的上下文窗口限制,引发注意力衰减、信息冗余与一致性冲突等问题。

针对上述挑战,本文提出一种面向长文档本体构建的增量式上下文感知融合方法。在文档预处理阶段,采用结构解析与语义感知切分的分层策略,确保语义单元完整性;在本体构建阶段,设计并验证四种迭代式方案——全局增量式、独立片段式、检索式增量与渐进式披露增量——分别从全局维护、并行分治、检索聚焦与分层导航四个维度探索上下文受限条件下的最优构建范式。其中,检索式增量方案通过向量索引与关系扩展实现相关本体子图的精准召回,将Prompt长度从O(N)降至O(1);渐进式披露方案通过摘要层与详细层的双层联动,实现上下文规模与本体总规模的解耦。


一

引言


本体(Ontology)作为语义网与知识工程的核心构件,是对特定领域概念、属性及其关系的规范化、形式化描述,为数据互操作、知识推理与智能问答奠定基础。然而,传统本体构建高度依赖领域专家的手工建模与反复校验,周期长、人力成本高,严重制约了大规模知识工程的落地效率。


近年来,大语言模型(LLM)凭借强大的文本理解与结构化抽取能力,为自动化本体构建提供了新的技术路径。通过精心设计的提示策略,LLM可直接从非结构化文本中识别概念、抽取关系并生成形式化定义,显著降低人工参与成本。


但现实中的知识来源往往呈现多格式(PDF、Word、HTML、Excel、PPT、Markdown、扫描件等)、大体量的特点,单份文档动辄数万字,多文档聚合后更是远超主流LLM的上下文窗口限制。如何在上下文受限的条件下,实现多源异构文档的高效理解、信息融合与本体迭代,已成为当前LLM驱动本体工程面临的核心挑战。


(一)核心结论速览


一句话总结:针对长文档本体构建的上下文溢出问题,本文提出四种迭代式构建方案,实验表明——中等规模场景优选全局增量式,大规模场景优选渐进式披露或检索式增量,追求极致速度可选独立片段式。


1.方案选型速查表



2.关键实验结论


全局增量式:场景一(60 chunks)Fuzzy F1 达 0.63(最优),但场景二(680 chunks)因超出128K上下文窗口而直接不可用。


检索式增量:场景一 Fuzzy F1 0.60(接近最优),场景二 Graph F1 0.29(最优),上下文降低 38%,为跨规模最稳健方案。


渐进式披露:场景二 Fuzzy F1 0.33、Continuous F1 0.29(均为最优),上下文稳定在 ~11K tokens,大规模场景首选。


独立片段式:上下文最低(~6K tokens),但场景二 Graph F1 仅 0.23,精度换速度特征明显。


二

问题背景及核心挑战


(一)问题场景描述


基于多格式文档(PDF、Word、HTML、Excel、PPT、Markdown、扫描件等),利用LLM进行的本体构建场景中,典型的迭代流程是:借鉴RAG(知识检索增强)工程经验,在预处理阶段将文档切分为chunk块,然后遍历这些块,在每次迭代中,LLM的提示词包括当前chunk块、已经构建的完整本体内容、本体构建业务补充信息、构建要求等。随着迭代进行,已构建的完整本体越来越大,最终很容易超过主流LLM的最大上下文限制。这一问题也限制了在较大业务场景中使用LLM进行本体的构建。


(二)核心挑战分析


上下文溢出问题:每次迭代都需要传递完整本体,token消耗呈线性增长。第N次迭代的Prompt长度 ≈ 初始化信息长度 + N × 单chunk本体增量 + 构建的辅助信息长度。根据实验验证,随着迭代次数的增加,已构建本体内容呈线性增长:


•第1次迭代:本体内容 ≈ 0 tokens


•第10次迭代:本体内容 ≈ 5K tokens


•第100次迭代:本体内容 ≈ 50K tokens


•第1000次迭代:本体内容 ≈ 500K tokens


而目前国内外主流LLM的上下文限制通常是32K-128K,无法支持多次迭代过程的本体构建。


LLM长上下文处理能力限制:当上下文长度超过一定阈值后,LLM推理存在两个核心问题:一是注意力衰减,模型对远距离token的注意力权重显著下降,导致早期注入的本体信息被"遗忘";二是上下文过载引发的幻觉,模型在信息密度过高的上下文中容易产生看似合理实则失真的本体定义。这两个问题在长文本场景下尤为突出,直接影响本体构建的准确性。


信息冗余问题:当前chunk可能只与本体的一小部分相关,却需要传递全部内容,造成大量无效token消耗。例如,一个关于"网络故障诊断"的chunk与本体中"财务管理"分支完全无关,但全量传递时这些无关信息仍占据宝贵的上下文空间。


一致性与效率冲突:盲目全量输入虽能保持全局视角,但易引发概念冲突(如不同chunk对同一概念的定义不一致),同时处理大规模文档集时的API调用成本与响应延迟呈指数级增长,不可控。


文档-本体匹配缺失:chunk孤立处理时,LLM缺乏对全局文档主题的整体视野,难以判断当前chunk应当聚焦本体的哪些分支进行更新,从而生成大量冗余或错误的Delta(增量变更),降低构建效率并引入噪声。


三

解决方案的理论依据


针对上述五大核心挑战,本文借鉴以下几个经典理论,并将其映射为具体的技术实现路径。


(一)上下文溢出与LLM能力限制问题


理论依据:Retrieval-Augmented Generation(RAG)范式(Lewis et al., 2020)。RAG通过外部向量存储与图数据库,将知识检索与文本生成分离,仅检索与当前查询相关的知识子集注入上下文,而非加载全部知识库。


技术映射:在本体构建过程中,将已构建的全局本体存储于向量数据库存储系统中。每次迭代时,不直接传递完整本体,而是基于当前chunk的语义特征检索最相关的本体子图及相关联的对象和关系,将Prompt中的本体上下文长度从O(N)降为O(1)(与迭代次数无关,仅与检索窗口大小相关)。


(二)迭代全量更新问题


理论依据:Map-Reduce分布式计算模型及Delta更新思想。Map-Reduce将复杂的大数据任务分解为可并行处理的Map子任务,再通过Reduce阶段聚合结果;Delta更新则只记录和传递变更部分,避免全量重计算。


技术映射:一方面,在独立片段式本体生成方案中,每个chunk的局部本体生成可视为独立的Map任务,多个chunk可并行处理,最终通过Reduce阶段的聚合策略合并为全局本体。另一方面,所有增量式方案均采用Delta更新机制——每轮迭代仅输出对当前局部本体切片的新增、修改或删除操作,而非重写完整本体,显著降低每轮输出的token开销。


(三)文档-本体不匹配问题


理论依据:文档主题建模(Topic Modeling, Blei et al., 2003)与嵌入相似度匹配(Sentence-BERT, Reimers & Gurevych, 2019)。主题建模能够从文档集合中自动发现抽象主题分布;Sentence-BERT则通过双塔编码器架构生成高质量的句子嵌入,支持高效的语义相似度计算。


技术映射:在Pre-processing阶段,为每个文档片段生成元数据JSON(包含核心主题、领域标签、关键概念列表)。在后续检索时,这些元数据作为过滤条件与相似度计算的辅助特征,实现"文档驱动"的精准匹配——即当前chunk只与本体中语义相关的分支进行交互,避免无关信息的干扰。


四

关键技术实现


针对上述存在的问题,结合可验证并且在业界内广泛实施的理论和实践技术,本文从文档智能解析与语义感知切分、迭代式本体构建方案两个维度展开技术实现。在文档预处理层面,通过分层语义感知切分策略解决传统固定长度切分导致的语义断裂问题;在本体构建层面,通过四种迭代式方案的对比验证,探索上下文受限条件下的最优构建范式。


(一)文档智能解析与语义感知切分


当前问题根源在于忽略文档内在结构与语义连贯性。传统基于固定token长度的切分方法,极易将表格与其描述文字、段落间的逻辑关联切断,导致LLM在后续本体构建时缺乏完整的语义上下文。本方案采用"结构解析 + 语义感知切分"的分层策略,确保同一语义单元不被拆分,同时为后续的本体构建提供精准的引导信息。


 1.优化目标:


实现语义完整切分:确保同一语义单元不被拆分,复杂结构信息零丢失。


实现精准引导抽取:辅助信息真正驱动LLM聚焦核心、过滤噪声。


实现闭环可控构建:全流程自动化校验、融合、迭代,输出高质量、可溯源本体。


2.通用切分框架(适用于所有文档类型)


(1)结构解析层(预处理)


提取层次化目录/标题树(TOC、H1-H6、Slide标题)。


识别逻辑单元:段落、表格、图片、列表、页眉页脚。


使用多模态LLM(或专用工具如MinerU + LayoutLM)解析文档,输出结构化中间表示(JSON格式:{section_title, content, type, parent_section})。


(2)语义连贯性切分层(核心改进)


嵌入聚类切分:


对每个逻辑单元计算embedding(使用bge-m3或类似模型),当相邻段落embedding余弦相似度 < 0.75(根据小规模试验验证后确定) 或跨越标题层级时,强制新chunk。


表格/图片特殊处理:


表格:先用TableGPT或VLM转为Markdown + 描述性标题,再与上下文段落合并为一个chunk(避免表格与解释文字分离)。


图片:OCR + 多模态描述(Vision LLM生成"图片语义摘要"),摘要与正文段落强制合并成一个chunk。


长图/PPT:先转为单页PDF,再按"幻灯片"作为最小语义单元(而非固定chunk size)。


(3)Chunk大小动态调整


基础大小:1000-4000 token(根据模型上下文窗动态调整)。


规则:同一标题下的所有内容必须保持在同一或相邻chunk,禁止跨标题切分同义内容。


(4)文档类型专项优化



(二)迭代式本体构建方案


在文档完成语义感知切分后,需要选择合适的本体构建策略从chunk序列中逐步构建全局本体。本研究设计并验证了四种迭代式构建方案,分别从上下文管理、更新粒度、整合策略等维度进行差异化设计。


1.全局增量式本体生成


(1)核心思路


全局增量式本体生成采用顺序累积的思路。系统先从第一个文档片段生成初始本体,之后每处理一个新片段,都直接基于当前已经形成的全局本体继续补充和修正。每一轮都显式维护一份不断演化的整体结构,因此更容易保持跨片段的一致性,也更适合需要持续累积全局语义信息的场景。



(2)实现过程


Step 1 — 初始化阶段


取第一个chunk C₁,构造Prompt:


任务:基于以下文档片段构建初始本体。 文档内容:{C₁内容} 构建要求:识别核心概念、属性及概念间关系;输出格式为JSON-LD兼容的结构。 输出:初始本体 O₁


LLM输出初始本体 O₁,包含概念集 V₁、关系集 E₁ 和属性定义 A₁。


Step 2 — 迭代更新阶段(第k轮,k ≥ 2)


对于第k个chunk Cₖ,构造Prompt:


任务:基于当前全局本体和新的文档片段,生成本体增量(Delta)。 当前全局本体:{Oₖ₋₁ 完整内容} 新文档片段:{Cₖ 内容} 操作要求:1. 新增:Cₖ中引入的新概念、新关系 2. 修正:与Oₖ₋₁中已有概念定义冲突的部分 3. 合并:识别并合并重复或近义概念 输出格式:{ "add": [...], "modify": [...], "merge": [...] }


LLM输出Delta Δₖ,系统将其应用至 Oₖ₋₁ 得到更新后的本体 Oₖ = Oₖ₋₁ ⊕ Δₖ。


Step 3 — 一致性校验


每10轮迭代执行一次全局一致性检查:通过嵌入相似度检测近义概念(阈值0.85),触发合并建议。


(3)关键设计点:


完整本体传递:每轮Prompt包含当前全局本体的完整序列化表示(通常为Turtle或JSON格式),确保LLM具备全局视野。


Delta机制:LLM输出结构化的增量操作而非重写完整本体,降低输出token开销。


冲突解决策略:当新chunk与现有本体存在定义冲突时,优先采纳置信度更高的定义(通过LLM的自评估分数判断)。


(4)适用场景


小规模文档集(总chunk数 < 200)、本体复杂度中等、对全局一致性要求高的场景。


2.独立片段式本体生成


(1)核心思路


独立片段式本体生成采用"先分治、后整合"的思路。系统先把文档拆成多个片段,并为每个片段单独生成局部本体,各片段之间在生成阶段完全独立、可并行处理;随后再通过聚合阶段的加权、剪枝和重建等步骤得到最终全局本体。优势在于流程清晰、模块化程度高、可充分利用并行计算资源,但对后期整合质量依赖较强。



(2)实现过程


Step 1 — 局部本体生成(Map阶段)


对于每个chunk Cᵢ(i = 1, 2, ..., n),独立构造Prompt:


任务:基于以下文档片段生成本地本体。 文档片段:{Cᵢ 内容} 构建要求:1. 提取该片段中出现的所有概念、属性、关系 2. 为每个概念提供局部上下文定义 3. 标注置信度分数(0-1),表示该定义在该片段中的确定性 4. 标注来源位置(该片段中的行号/段落范围) 输出格式:{"concepts":[...],"relations":[...], "confidence_scores": {…
— 以上为试看内容(约 40%),开通会员后阅读全文 —