从RAG到GraphRAG:货拉拉元数据检索应用实践

 

1. 什么是RAG?

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合信息检索与文本生成的技术。

核心思想:在生成答案前,先从大规模知识库中实时检索相关信息,然后基于这些检索到的可靠证据来构建回答。这种方法有效提升了生成内容的准确性、时效性与可信度,同时显著减少了大模型产生“幻觉”或错误信息的风险。

RAG广泛应用于智能问答、文档摘要和知识辅助决策等场景,成为增强大语言模型事实性与可靠性的关键技术。

1.1 RAG架构模式

1.2 RAG的挑战

RAG系统没有银弹 —— 不存在一种万能方案能解决RAG系统的所有问题。RAG虽通过检索外部知识提升生成可靠性,但仍面临多重挑战:检索的相关性与时效性难两全,向量召回易遗漏关键信息,复杂知识结构难适配,语义理解与真实需求间存在鸿沟。优化RAG需结合场景调参、改进检索算法、增强知识过滤,甚至融合大模型的推理能力,而非依赖单一技术突破。

1.3 怎么评价RAG系统?

2. 什么是GraphRAG?

GraphRAG(Graph Retrieval-Augmented Generation) 是RAG的进阶架构,其核心创新在于引入知识图谱(Knowledge Graph) 来优化检索与生成过程。

与传统RAG基于向量检索文档片段不同,GraphRAG首先从海量数据中构建并存储一个结构化的知识图谱,通过图算法(如社区发现、中心性分析)来深度挖掘实体间的复杂关系与全局洞察。生成答案时,系统从图谱中检索相关的子图、模式或社区信息作为上下文。

这种方法极大地增强了对复杂问题的推理能力、隐藏关联的发现能力以及回答的系统性,特别适用于需要深度分析、趋势挖掘和跨源知识融合的战略决策场景。

2.1 引入Graph之后的RAG架构模式

引入Graph的增强型RAG模式,分离线和在线两阶段。

离线阶段:原始知识库经Chunking生成文本块,同时通过LLM知识抽取得到实体与关系;文本块经Embedding Model生成向量存入Vector DB,实体关系构建Graph索引存入Graph DB。

在线阶段:用户问题先经Embedding Model生成向量,结合向量检索与图检索,从Vector DB获取相关文本块,从Graph DB获取相关实体与关系;将这些信息整合成Prompt输入LLM生成答案,支持诸如:推荐、检索、对话这些场景。

主流GraphRAG方案一般都具备以下核心特性:

  • • 多索引结合:图索引、向量索引、全文索引
  • • 混合检索:向量检索、全文检索、标量检索
  • • 多跳推理:基于图索引的知识图谱,进行多步推理,解决复杂问题

2.2 GraphRAG vs. RAG

2.3 3种Graph-based RAG对比

Graph-based RAG有三类典型范式:GraphRAG(微软开源)、LightRAG与PathRAG。它们分别从知识挖掘、轻量化、路径推理三个核心维度突破传统RAG局限。针对不同业务场景的差异化需求,既可以按需选择适配的单一方案,也可通过方案间的灵活组合,发挥各自优势、形成协同效应,以更高效地满足复杂场景下的知识检索与推理需求。

它们之间的详细对比:

3. AI元数据检索探索之路

3.1 业务背景

用户在找数过程中,由于需要用户具备一定程度的业务知识和技术知识,经常会遇到各种数据理解和使用上的疑问,需要频繁跟技术来回沟通。

随着LLM的出现和RAG的兴起,可以尝试利用RAG系统,有效的理解和处理复杂的元数据和业务知识,通过用户对话式问答的交互方式,降低用户找数门槛,减轻隐性的沟通负担,从而进一步提升数据检索的效率。

用户提问案例:

  • • XXX数据/业务字段,在哪个表能找的到?怎么取,在哪获取?
  • • XXX业务数据,在哪个表的,哪个字段?
  • • XXX表里有XXX业务数据的字段吗?是哪个?
  • • XXX的数据口径是什么?有没有说明?
  • • XXX的业务含义是什么意思?
  • • ......

3.2 关键挑战

3.3 方案1.0 —— Naive RAG

  • • 方案1.0 效果
    • • 整体效果未达预期目标
    • • 回答准确率仅55%;召回率/TopK命中率只有60%左右;

  • • 问题归因
    ❌ 知识库“营养不良”:仅包含库表schema+comment,缺乏业务背景、字段口径、数据血缘等关键信息
    ❌ 检索能力“单一薄弱”:仅依赖向量检索,面对同义词、多实体关联、表间关系等复杂问题时召回率拉胯
    ❌ 边界感“完全缺失”:无法识别超出知识库范围的问题,易输出误导性内容

1) 索引流程

知识库导入流程如下:

2) 检索流程

知识库检索&生成流程如下:

3) 分块(Chunking)方式

  • • 方式一(不采用):单个表作为一整个chunk

    这种方式很好的保存了表的完整信息,但是会存在以下两个问题:

  1. 1. 会导致在进行相似度匹配时,将用户问题中的关键字和整个表进行匹配,这样可能存在匹配度很高,但实际不是用户要查找的表的情况,如下所示。
  2. 2. 而整表文档作为上下文给到LLM,token长度很容易超限。
  • • 方式二(采用):单字段切割能避免上述整表切割带来的两个问题;但同时要考虑chunk过多,可能影响查询性能
    如下所示格式,在可按照单行/多行进行切割
  • 因此选择第二种切割方式更适合库表检索场景。

    demo效果展示

1. 用户问题:xxx字段,在哪个表里能找到?

2. 向量数据库检索结果:
{"tableName": "table1", "column": "xxx", "type": "string", "comment": "xxx"};
{"tableName": "table1", "column": "xxx", "type": "bigi…
— 以上为试看内容(约 40%),开通会员后阅读全文 —