本体论语义建设新思路,另类RAG来解决检索问题
只不过普通RAG搜索的目标大多包含大量的文本对象,而Ontology操作的目标倾向于数据库对象。这就意味着,我们可以参照为RAG设计的系统实现来设计Ontology的数据层面。比如,这次介绍的SAG(Structured Aggregated Graph)就是一个很好的参考。
在回答复杂问题时,通过向量匹配搜索出来的chunk往往是不够的,因为有很多隐含条件并没有体现在字面上,所以我们需要relation来进行关联查找字面上没有的实体。SAG通过relation和向量结合的方式进行召回和rerank,在多跳问答的数据集验证里取得了炸裂的成绩。核心是,不维护重型知识图谱,而是建立三种轻量索引(chunk → event、event ↔ entities、chunk → entities),用"双存储协同 + 多跳扩展"弥补单靠向量检索无法覆盖的多跳场景。
索引方式
SAG将一个chunk拆成了三个部分:事件、实体和关系。事件是对chunk的摘要,实体是从事件中提取出的主体,关系则是事件与实体间建立的联系。
对于每一个chunk,让LLM提取事件和实体,并且建立联系。
这就类似于一个图,两个事件之间如果存在相同的实体,这两个事件便产生了关联。
进行索引的是一个五步流程:
chunks → processor(LLM调用) → filter(过滤) → parser(解析) → saver(持久化)
每个 chunk 经一次 LLM 调用,融合成恰好一个自包含事件 + 若干实体。这与传统"一句一三元组"完全不同。对chunk的提取产生了两大种类的成果,结构化数据和向量化数据。
MySQL: 通过event和entity的id进行关联,负责精确关系遍历,用于Step3 通道1(entity→event)、Step5 多跳扩展、Step8 chunk 回溯;
ES: 存储event向量,负责模糊语义召回 + 打分,用于Step2 实体召回、Step3 通道2、Step6 粗排。
stmt = select(EventEntity.event_id).where(EventEntity.entity_id.in_(entity_ids) # 精确 JOIN
).join(SourceEvent...).where(source_config_id.in_(...))
向量化数据存储在ES中,供向量搜索用:
| ES 索引 | 向量来源 | 用途 |
|---|---|---|
event_vectors | 事件标题、title+content 分别 embed | 事件语义召回 |
entity_vectors | entity.name embed | 实体向量召回(NER 命中后找相似实体) |
event_entity_vectors | EventEntity.description embed | 关联关系检索 |
检索:8 步pipline的逐层职责
| 步骤 | 职责 | 存储 | 关键参数 |
|---|---|---|---|
| Step1 NER | query → 实体名 | LLM(multi)/ BM25(multi_es) | — |
| Step2 实体召回 | 实体名 → entity_ids | ES entity_vectors | top_k=20, 阈值 0.9 |
| Step3 双通道召回 | 召回初始事件 | MySQL JOIN + ES kNN |