从RAG到GraphRAG:货拉拉元数据检索应用实践
1. 什么是RAG?
RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合信息检索与文本生成的技术。
核心思想:在生成答案前,先从大规模知识库中实时检索相关信息,然后基于这些检索到的可靠证据来构建回答。这种方法有效提升了生成内容的准确性、时效性与可信度,同时显著减少了大模型产生“幻觉”或错误信息的风险。
RAG广泛应用于智能问答、文档摘要和知识辅助决策等场景,成为增强大语言模型事实性与可靠性的关键技术。
1.1 RAG架构模式
1.2 RAG的挑战
RAG系统没有银弹 —— 不存在一种万能方案能解决RAG系统的所有问题。RAG虽通过检索外部知识提升生成可靠性,但仍面临多重挑战:检索的相关性与时效性难两全,向量召回易遗漏关键信息,复杂知识结构难适配,语义理解与真实需求间存在鸿沟。优化RAG需结合场景调参、改进检索算法、增强知识过滤,甚至融合大模型的推理能力,而非依赖单一技术突破。
1.3 怎么评价RAG系统?
2. 什么是GraphRAG?
GraphRAG(Graph Retrieval-Augmented Generation) 是RAG的进阶架构,其核心创新在于引入知识图谱(Knowledge Graph) 来优化检索与生成过程。
与传统RAG基于向量检索文档片段不同,GraphRAG首先从海量数据中构建并存储一个结构化的知识图谱,通过图算法(如社区发现、中心性分析)来深度挖掘实体间的复杂关系与全局洞察。生成答案时,系统从图谱中检索相关的子图、模式或社区信息作为上下文。
这种方法极大地增强了对复杂问题的推理能力、隐藏关联的发现能力以及回答的系统性,特别适用于需要深度分析、趋势挖掘和跨源知识融合的战略决策场景。
2.1 引入Graph之后的RAG架构模式
引入Graph的增强型RAG模式,分离线和在线两阶段。
离线阶段:原始知识库经Chunking生成文本块,同时通过LLM知识抽取得到实体与关系;文本块经Embedding Model生成向量存入Vector DB,实体关系构建Graph索引存入Graph DB。
在线阶段:用户问题先经Embedding Model生成向量,结合向量检索与图检索,从Vector DB获取相关文本块,从Graph DB获取相关实体与关系;将这些信息整合成Prompt输入LLM生成答案,支持诸如:推荐、检索、对话这些场景。
主流GraphRAG方案一般都具备以下核心特性:
• 多索引结合:图索引、向量索引、全文索引 • 混合检索:向量检索、全文检索、标量检索 • 多跳推理:基于图索引的知识图谱,进行多步推理,解决复杂问题
2.2 GraphRAG vs. RAG
2.3 3种Graph-based RAG对比
Graph-based RAG有三类典型范式:GraphRAG(微软开源)、LightRAG与PathRAG。它们分别从知识挖掘、轻量化、路径推理三个核心维度突破传统RAG局限。针对不同业务场景的差异化需求,既可以按需选择适配的单一方案,也可通过方案间的灵活组合,发挥各自优势、形成协同效应,以更高效地满足复杂场景下的知识检索与推理需求。
3. AI元数据检索探索之路
3.1 业务背景
用户在找数过程中,由于需要用户具备一定程度的业务知识和技术知识,经常会遇到各种数据理解和使用上的疑问,需要频繁跟技术来回沟通。
随着LLM的出现和RAG的兴起,可以尝试利用RAG系统,有效的理解和处理复杂的元数据和业务知识,通过用户对话式问答的交互方式,降低用户找数门槛,减轻隐性的沟通负担,从而进一步提升数据检索的效率。
用户提问案例:
• XXX数据/业务字段,在哪个表能找的到?怎么取,在哪获取? • XXX业务数据,在哪个表的,哪个字段? • XXX表里有XXX业务数据的字段吗?是哪个? • XXX的数据口径是什么?有没有说明? • XXX的业务含义是什么意思? • ......
3.2 关键挑战
3.3 方案1.0 —— Naive RAG
• 方案1.0 效果 • 整体效果未达预期目标 • 回答准确率仅55%;召回率/TopK命中率只有60%左右;
• 问题归因
❌ 知识库“营养不良”:仅包含库表schema+comment,缺乏业务背景、字段口径、数据血缘等关键信息
❌ 检索能力“单一薄弱”:仅依赖向量检索,面对同义词、多实体关联、表间关系等复杂问题时召回率拉胯
❌ 边界感“完全缺失”:无法识别超出知识库范围的问题,易输出误导性内容
1) 索引流程
知识库导入流程如下:
2) 检索流程
知识库检索&生成流程如下:
3) 分块(Chunking)方式
• 方式一(不采用):单个表作为一整个chunk 这种方式很好的保存了表的完整信息,但是会存在以下两个问题:
1. 会导致在进行相似度匹配时,将用户问题中的关键字和整个表进行匹配,这样可能存在匹配度很高,但实际不是用户要查找的表的情况,如下所示。 2. 而整表文档作为上下文给到LLM,token长度很容易超限。
• 方式二(采用):单字段切割能避免上述整表切割带来的两个问题;但同时要考虑chunk过多,可能影响查询性能
如下所示格式,在可按照单行/多行进行切割
因此选择第二种切割方式更适合库表检索场景。
demo效果展示
1. 用户问题:xxx字段,在哪个表里能找到?
2. 向量数据库检索结果:
{"tableName": "table1", "column": "xxx", "type": "string", "comment": "xxx"};
{"tableName": "table1", "column": "xxx", "type": "bigi…