FDE 企业 AI 落地与交付 · 企业知识治理 · 2024-04-18

企业级RAG的数据方案选择 - 向量数据库、图数据库和知识图谱

如何为企业RAG选择合适的数据存储方式

摘要:

本文讨论了矢量数据库、图数据库和知识图谱在解决信息检索挑战方面的重要性,特别是针对企业规模的检索增强生成(RAG)。

看看海外人工智能企业Writer是如何利用知识图谱增强企业级RAG。

要点概要:

来源:https://writer.com/blog/vector-databases-graph-databases-knowledge-graphs/

正文:

根据2023年StackOverflow的调查,近54%的开发者发现等待问题答案常常导致工作中断,并频繁打乱他们的工作流程。与此发现相辅相成的是:近47%的开发者经常发现他们再次回答之前已经回答过的问题。换句话说,这些信息经常存在,但要么被锁在团队成员的脑海中,要么深深埋在其他公司资源中,开发者需要别人的帮助才能找到。

如果听起来像是浪费时间的话,想象一下同样的情况在每个部门中被放大。没有员工能幸免:在某个时刻,每个公司的每个人都会有问题,并需要等待答案。

这个问题并不是未知的。多年来出现了各种解决方案,包括公司内部网、维基和所谓的数字化转型。所有这些都带来了进步,但没有一个解决了这个看似简单但无限复杂的获取答案的问题。

这就是为什么检索增强生成(RAG)通常被视为知识管理的圣杯的原因。

当公司发展到企业级别时,它们很可能会经历多次重新品牌、重组和转型,高管和董事会成员来来去去,数百或数千名员工入职和离职。在这种情况下,甚至对公司的简单问题作答也是一种挑战。

AI - 通过RAG - 有望成为第一个真正的解决方案。借助RAG,员工提出自然语言问题,并使用任务数据库工具检索信息,利用生成式AI将该信息制定成可读、相关的答案。

RAG的初步结果今天很强大,对明天可能出现的情况充满希望,但这些结果也揭示了重大的局限性。没有合适的基础数据库支持,RAG无法发挥其潜力。

- SUMMARIZED BY WRITER

什么是向量数据库?

一个向量数据库以向量格式存储和维护数据。当数据准备存储时,它被分成100到200个字符的块。然后,通过一个嵌入模型,这些块被转换为可以存储在向量数据库中的向量嵌入。

向量数据库有很多用例,但从定义上来说,并不是RAG的完整基础。大多数向量数据库并不提供嵌入模型,因此公司通常需要找到并集成一个嵌入模型,才能将向量数据库用作他们的基础。

向量数据库的特性也因所使用的算法而异。向量数据库使用KNN(K最近邻)或ANN(近似最近邻)算法,每种算法对任何搜索和检索特性的最终结果都有不同的影响。

当用户输入查询时,向量数据库将查询转换为一个向量嵌入,然后使用KNN或ANN算法确定哪些数据点最接近查询数据点。正如它们各自的名称所示,这两种算法都很相似,但ANN更为近似,同时速度更快。

向量数据库的优点和缺点

矢量数据库具有各种优点和缺点,但当企业试图使用它们构建RAG功能时,这些缺点往往凸显出来。当企业在企业规模面临这些缺点时,它们往往更具重要性。

优点

向量数据库的主要优势在于公司可以存储不同的数据类型,包括文本和图像。

除了纯粹的存储功能之外,向量数据库还能提供比传统关键字搜索更好的搜索功能。如果用户正在寻找具有语义相似性的数据,即使没有字面上的关键字匹配,向量数据库通常也可以帮助他们找到这些数据点。

缺点

向量数据库的主要弱点源于其处理数据的方式。特别是在企业环境中,信息检索需要具有精确和细致的特点,而这种数据处理的粗糙性可能会显示出压力。当数据被处理为向量存储时,上下文往往会丢失。各个数据点之间的关系上下文尤其容易变得模糊。

与关键词搜索相比,向量数据库的优势在于可以基于近似性(KNN和ANN)来识别数据点之间的相似性。但当与其他数据库相比较时,它也会成为一个弱点。除了纯粹的数值近似性之外,向量数据库无法保留用以说明不同数据点之间关系的上下文。

正如fair hiring platform Fribl的首席人工智能产品官Anthony Alcaraz所写:“问题常常与其所寻找的答案存在间接关系。” 举例来说,考虑对Apple的起源的简单描述:

Apple于1976年4月1日成立,由Steve Wozniak和Steve Jobs共同创办。该公司于1977年注册成立。其第二款计算机Apple II作为首批大规模生产的微型计算机之一销售状况良好。Apple于1983年推出了Lisa,1984年推出了Macintosh,这些计算机是最早使用图形用户界面和鼠标的计算机之一。

如果这些数据存储在向量数据库中,并且用户查询“Apple何时推出第一台Macintosh?”时,正确的数据可能变成了错误的答案。

由于粗糙的分块和KNN算法关注的仅仅是近似性,数据库可能会提取最接近的分块“1983”和“Macintosh”,而不是段落实际上所说明的内容。基于这些错误数据,语言模型会形成一个自信但错误的回答:“第一台Macintosh是在1983年推出的。”

这种上下…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/qiyejingying/972.html