本体论语义建设新思路,另类RAG来解决检索问题

有没有想过一个问题,本体论有一半的篇幅在讨论如何定义标准数据和数据间的关系,之所以要这么做,就是需要为所有的分析和Action提供精准的上下文。所以,这实质上是一个高纬度的RAG问题。

只不过普通RAG搜索的目标大多包含大量的文本对象,而Ontology操作的目标倾向于数据库对象。这就意味着,我们可以参照为RAG设计的系统实现来设计Ontology的数据层面。比如,这次介绍的SAG(Structured Aggregated Graph)就是一个很好的参考。

在回答复杂问题时,通过向量匹配搜索出来的chunk往往是不够的,因为有很多隐含条件并没有体现在字面上,所以我们需要relation来进行关联查找字面上没有的实体。SAG通过relation和向量结合的方式进行召回和rerank,在多跳问答的数据集验证里取得了炸裂的成绩。核心是,不维护重型知识图谱,而是建立三种轻量索引(chunk → event、event ↔ entities、chunk → entities),用"双存储协同 + 多跳扩展"弥补单靠向量检索无法覆盖的多跳场景。

索引方式

SAG将一个chunk拆成了三个部分:事件、实体和关系。事件是对chunk的摘要,实体是从事件中提取出的主体,关系则是事件与实体间建立的联系。

对于每一个chunk,让LLM提取事件和实体,并且建立联系。

这就类似于一个图,两个事件之间如果存在相同的实体,这两个事件便产生了关联。

进行索引的是一个五步流程:

chunks → processor(LLM调用) → filter(过滤) → parser(解析) → saver(持久化)

每个 chunk 经一次 LLM 调用,融合成恰好一个自包含事件 + 若干实体。这与传统"一句一三元组"完全不同。对chunk的提取产生了两大种类的成果,结构化数据和向量化数据。

MySQL: 通过event和entity的id进行关联,负责精确关系遍历,用于Step3 通道1(entity→event)、Step5 多跳扩展、Step8 chunk 回溯;

ES: 存储event向量,负责模糊语义召回 + 打分,用于Step2 实体召回、Step3 通道2、Step6 粗排。

结构化数据存储在MySQL中,通过id记录了event/entity之间的关系,可以通过entity_id进行精确的关联查询:
stmt = select(EventEntity.event_id).where(EventEntity.entity_id.in_(entity_ids)   # 精确 JOIN
).join(SourceEvent...).where(source_config_id.in_(...))

向量化数据存储在ES中,供向量搜索用:

ES 索引向量来源用途
event_vectors事件标题、title+content 分别 embed事件语义召回
entity_vectorsentity.name embed实体向量召回(NER 命中后找相似实体)
event_entity_vectorsEventEntity.description embed关联关系检索

检索:8 步pipline的逐层职责

步骤职责存储关键参数
Step1 NERquery → 实体名LLM(multi)/ BM25(multi_es)—
Step2 实体召回实体名 → entity_idsES entity_vectorstop_k=20, 阈值 0.9
Step3 双通道召回召回初始事件MySQL JOIN + ES kNN
— 以上为试看内容(约 40%),开通会员后阅读全文 —