Harness 与 Agent 工程 · 存储、索引与数据平台 · 2024-05-05

MaxKB 是基于 LLM 大语言模型的知识库问答系统,30 分钟内可上线,支持上传文档、自动爬取在线文档等,可零编码嵌入第三方业务系统,介绍了其实现原理包括向量相似度、搜索索引、重新排序等

MaxKB

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。

开箱即用:

1、30 分钟内即可上线基于本地大模型的知识库问答系统,

2、支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化;

3、支持零编码快速嵌入到第三方业务系统。

技术栈

实现原理

1、向量相似度

检索器通过知识数据库搜索嵌入彼此接近的向量,即最近的邻居,因为它们是相似的文本。在用户提出查询的情况下,首先对其进行嵌入,然后与相似的嵌入匹配。用于找出不同向量有多相似的常用测量是余弦相似度,它基于两个向量之间的角度。

我们可以使用其他方法来测量相似度,包括欧几里得距离,这是向量端点之间的直线距离,以及点积,它测量两个向量对应元素的乘积之和。

2、搜索索引

在进行检索时,首先需要为知识库构建一个搜索索引。索引存储我们的嵌入,并能在大型数据库中快速检索最相似的块。可以使用以下代码在本地创建索引:

from sklearn.neighbors import NearestNeighborsembeddings = flattened_df['embeddings'].tolist()# 创建搜索索引nbrs = NearestNeighbors(n_neighbors=5, algorithm='ball_tree').fit(embeddings)# 查询索引,可以使用kneighbors方法distances, indices = nbrs.kneighbors(embeddings)

3、重新排序

查询数据库后,可能需要按照相关性从高到低对结果进行排序。重新排序的LLM使用机器学习来提高搜索结果的相关性,通过从最相关的排序。使用Azure AI Search,重新排序会自动使用语义重新排序器为您完成。示意代码:

## 查找最相似的文…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/MaxKB/1721.html