FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2024-11-15

llamaindex实战-Agent-在Agent中使用RAG查询(本地部署)

llamaindex实战-Agent-在Agent中使用RAG查询(本地部署)

概述

本文说明如何在Agent中加入RAG查询引擎,这样就可以在Agent中使用外部的知识库,从而让Agent可以进行外部知识库中数据的查询,让Agent更加强大。

这种模式在很多场景下都很有用,比如:我们很多时候需要先查询或计算某个指标后,若数据或指标符合某个条件时,再通过工具函数来进行处理。该文的实验是通过llamaindex自带的一个例子来完成,我们可以通过该例子结合自己的业务来进行拓展。

本文运行的代码完全是在x86机器上,并且都是在本地部署跑通,不依赖openai的任何接口,完全免费。

实现思路

为了演示如何在Agent中使用 RAG 引擎,我们将创建一个非常简单的 RAG 查询引擎。我们的源数据将是维基百科上关于 2023 年加拿大联邦预算的页面,并已将其打印为 PDF 格式。

通过rag和agent结合,可以先从文档数据中获取到对应的数据,让后再调用tools函数,来对文档中读取到的数据进行处理。

注意:这些步骤都是大模型根据语义的理解选取合适的工具,自动执行的。而我们只需要给我们的代码指令,告诉它,我们想要什么即可。

运行环境

我的环境是一台虚拟机,没有GPU,配置如下:

实现步骤

  1. 准备好本地嵌入模式

从huggingface或其他地方下载bge-base-en-v1.5模型的所有文件到以下目录:

/opt/models/BAAI/bge-base-en-v1.5
  1. 准备本地大模型

直接可以通过ollama来获取大模型到本地,我这里使用的是gemm2。

ollama pull gemma2
  1. 把RAG查询引擎加入到Agent工具列表中

## rag pipeline as a toolbudget_tool = QueryEngineTool.from_defaults( query_engine, name="canadian_budget_2023", description="A RAG engine with some basic facts about the 2023 Canadian federal budget.")# 把rag查询引擎作为agent的工具,加入到agent的工具列表中agent = ReActAgent.from_tools([multiply_tool, add_tool, budget_tool], verbose=True)
  1. 我们要查询的文档内容如下

把https://en.wikipedia.org/wiki/2023_Canadian_federal_budget保存成pdf文档,内容如上图所示,并保存到./agent_rag_data目录下。

代码实现

首先通过ollama下载大模型到本地,并下载并保存本地嵌入模型,我这里下载并使用的是:bge-base-en-v1.5模型,该模型所有的文件都保存在/opt/models/BAAI/bge-base-en-v1.5目录中。

from llama_index.core.agent import ReActAgentfrom llama_index.llms.openai import OpenAIfrom llama_index.core.tools import FunctionToolfrom llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settingsfrom llama_index.core.tools import QueryEngineToolfrom llama_index.llms.ollama import Ollamafrom llama_index.embeddings.huggingface import HuggingFaceEmbeddingfrom llam…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/llamaindex/2024111559786.html