如何为企业RAG选择合适的数据存储方式
摘要:
本文讨论了矢量数据库、图数据库和知识图谱在解决信息检索挑战方面的重要性,特别是针对企业规模的检索增强生成(RAG)。
看看海外人工智能企业Writer是如何利用知识图谱增强企业级RAG。
要点概要:
-
矢量数据库高效存储数据,但缺乏上下文和关联信息。
-
图数据库优先考虑数据点之间的关系,受益于关系结构。
-
知识图谱在语义存储方面表现出色,由于其能够编码丰富的上下文信息,使其成为RAG的理想选择。
-
选择正确的数据存储技术对于成功的企业级RAG至关重要。
-
企业级知识检索取决于基础数据库技术的准确性和效率。
-
知识图谱在企业级RAG的搜索和检索任务中胜过矢量数据库和图数据库。
-
知识图谱基础与语言模型的结合显著提升了信息检索的准确性。
来源:https://writer.com/blog/vector-databases-graph-databases-knowledge-graphs/
正文:
根据2023年StackOverflow的调查,近54%的开发者发现等待问题答案常常导致工作中断,并频繁打乱他们的工作流程。与此发现相辅相成的是:近47%的开发者经常发现他们再次回答之前已经回答过的问题。换句话说,这些信息经常存在,但要么被锁在团队成员的脑海中,要么深深埋在其他公司资源中,开发者需要别人的帮助才能找到。
如果听起来像是浪费时间的话,想象一下同样的情况在每个部门中被放大。没有员工能幸免:在某个时刻,每个公司的每个人都会有问题,并需要等待答案。
这个问题并不是未知的。多年来出现了各种解决方案,包括公司内部网、维基和所谓的数字化转型。所有这些都带来了进步,但没有一个解决了这个看似简单但无限复杂的获取答案的问题。
这就是为什么检索增强生成(RAG)通常被视为知识管理的圣杯的原因。
当公司发展到企业级别时,它们很可能会经历多次重新品牌、重组和转型,高管和董事会成员来来去去,数百或数千名员工入职和离职。在这种情况下,甚至对公司的简单问题作答也是一种挑战。
AI - 通过RAG - 有望成为第一个真正的解决方案。借助RAG,员工提出自然语言问题,并使用任务数据库工具检索信息,利用生成式AI将该信息制定成可读、相关的答案。
RAG的初步结果今天很强大,对明天可能出现的情况充满希望,但这些结果也揭示了重大的局限性。没有合适的基础数据库支持,RAG无法发挥其潜力。
- SUMMARIZED BY WRITER
- 向量数据库以向量格式存储数据,使得搜索高效,但缺乏上下文和关系信息。
- 图数据库优先考虑数据点之间的关系,适用于建模密集连接的数据,但对于大规模处理和跨数据库查询效率较低。
- 知识图谱以语义描述存储和连接概念、实体、关系和事件,模拟人类思维,使其成为基于RAG的搜索的理想选择。
- 知识图谱在搜索和检索任务中表现优于向量和图数据库,特别是对于企业级RAG,这是因为它们能够保留语义关系并编码结构信息的能力。
- 选择适合企业级RAG的数据存储技术需要仔细评估数据处理、查询检索和LLM集成能力,知识图谱成为最合适的选择。
什么是向量数据库?
一个向量数据库以向量格式存储和维护数据。当数据准备存储时,它被分成100到200个字符的块。然后,通过一个嵌入模型,这些块被转换为可以存储在向量数据库中的向量嵌入。
向量数据库有很多用例,但从定义上来说,并不是RAG的完整基础。大多数向量数据库并不提供嵌入模型,因此公司通常需要找到并集成一个嵌入模型,才能将向量数据库用作他们的基础。
向量数据库的特性也因所使用的算法而异。向量数据库使用KNN(K最近邻)或ANN(近似最近邻)算法,每种算法对任何搜索和检索特性的最终结果都有不同的影响。
当用户输入查询时,向量数据库将查询转换为一个向量嵌入,然后使用KNN或ANN算法确定哪些数据点最接近查询数据点。正如它们各自的名称所示,这两种算法都很相似,但ANN更为近似,同时速度更快。
向量数据库的优点和缺点
矢量数据库具有各种优点和缺点,但当企业试图使用它们构建RAG功能时,这些缺点往往凸显出来。当企业在企业规模面临这些缺点时,它们往往更具重要性。
优点
向量数据库的主要优势在于公司可以存储不同的数据类型,包括文本和图像。
除了纯粹的存储功能之外,向量数据库还能提供比传统关键字搜索更好的搜索功能。如果用户正在寻找具有语义相似性的数据,即使没有字面上的关键字匹配,向量数据库通常也可以帮助他们找到这些数据点。
缺点
向量数据库的主要弱点源于其处理数据的方式。特别是在企业环境中,信息检索需要具有精确和细致的特点,而这种数据处理的粗糙性可能会显示出压力。当数据被处理为向量存储时,上下文往往会丢失。各个数据点之间的关系上下文尤其容易变得模糊。
与关键词搜索相比,向量数据库的优势在于可以基于近似性(KNN和ANN)来识别数据点之间的相似性。但当与其他数据库相比较时,它也会成为一个弱点。除了纯粹的数值近似性之外,向量数据库无法保留用以说明不同数据点之间关系的上下文。
正如fair hiring platform Fribl的首席人工智能产品官Anthony Alcaraz所写:“问题常常与其所寻找的答案存在间接关系。” 举例来说,考虑对Apple的起源的简单描述:
Apple于1976年4月1日成立,由Steve Wozniak和Steve Jobs共同创办。该公司于1977年注册成立。其第二款计算机Apple II作为首批大规模生产的微型计算机之一销售状况良好。Apple于1983年推出了Lisa,1984年推出了Macintosh,这些计算机是最早使用图形用户界面和鼠标的计算机之一。
如果这些数据存储在向量数据库中,并且用户查询“Apple何时推出第一台Macintosh?”时,正确的数据可能变成了错误的答案。
由于粗糙的分块和KNN算法关注的仅仅是近似性,数据库可能会提取最接近的分块“1983”和“Macintosh”,而不是段落实际上所说明的内容。基于这些错误数据,语言模型会形成一个自信但错误的回答:“第一台Macintosh是在1983年推出的。”
这种上下…