FastGPT一站式解决方案[1-部署篇]:轻松实现RAG-智能问答系统(含sealos云端部署、docker部署、OneAPI&Xinference模型接入)
FastGPT是一个功能强大的平台,专注于知识库训练和自动化工作流程的编排。它提供了一个简单易用的可视化界面,支持自动数据预处理和基于Flow模块的工作流编排。FastGPT支持创建RAG系统,提供自动化工作流程等功能,使得构建和使用RAG系统变得简单,无需编写复杂代码。
- 官方:https://fastgpt.in/
- github:https://github.com/labring/FastGPT
专属 AI 客服:通过导入文档或已有问答对进行训练,让 AI 模型能根据你的文档以交互式对话方式回答问题。
- 多库复用,混用
- chunk 记录修改和删除
- 源文件存储
- 支持手动输入,直接分段,QA 拆分导入
- 支持 txt,md,html,pdf,docx,pptx,csv,xlsx (有需要更多可 PR file loader)
- 支持 url 读取、CSV 批量导入
- 混合检索 & 重排
-
简单易用的可视化界面:FastGPT 采用直观的可视化界面设计,为各种应用场景提供了丰富实用的功能。通过简洁易懂的操作步骤,可以轻松完成 AI 客服的创建和训练流程。 -
自动数据预处理:提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径,其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割,节省手动训练时间,提升效能。 工作流编排:基于 Flow 模块的工作流编排,可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。
- 提供简易模式,无需操作编排
- 工作流编排
- 工具调用
- 插件 - 工作流封装能力
-
Code sandbox
-
强大的 API 集成:FastGPT 对外的 API 接口对齐了 OpenAI 官方接口,可以直接接入现有的 GPT 应用,也可以轻松集成到企业微信、公众号、飞书等平台。
1.Sealos 云端快速部署
github:https://github.com/labring/sealos/blob/main 一款以 Kubernetes 为内核的云操作系统发行版,使用 Sealos 服务,无需采购服务器、无需域名,支持高并发 & 动态伸缩,并且数据库应用采用 kubeblocks 的数据库,在 IO 性能方面,远超于简单的 Docker 容器部署
- 核心功能
- 应用管理:在模板市场中轻松管理并快速发布可公网访问的分布式应用。
- 数据库管理:秒级创建高可用数据库,支持 MySQL、PostgreSQL、MongoDB 和 Redis。
- 公私一致:即是公有云也是私有云,支持传统应用无缝迁移到云环境。
- 优势
- 高效 & 经济:仅需为容器付费,自动伸缩杜绝资源浪费,大幅度节省成本。
- 通用性强,无心智负担:专注于业务本身,无需担心复杂性,几乎没有学习成本。
- 灵活 & 安全:多租户共享机制在确保安全的同时,实现资源隔离与高效协作。 北京区服务提供商为火山云,国内用户可以稳定访问,但无法访问 OpenAI 等境外服务,价格约为新加坡区的 1/4。登录链接:https://bja.sealos.run/?openapp=system-template%3FtemplateName%3Dfastgpt
登录FastGPT直接就可以使用,模板市场有一些例子
同时Sealos市场也提供了很多AI应用
更多配置见:https://doc.tryfastgpt.ai/docs/development/sealos/
2.Docker部署
2.1 推荐配置
MongoDB:用于存储除了向量外的各类数据,PostgreSQL/Milvus:存储向量数据,OneAPI: 聚合各类 AI API,支持多模型调用
-
PgVector 版本 体验测试首选 | 环境 | 最低配置(单节点) | 推荐配置 | | --- | --- | --- | | 测试 | 2c2g | 2c4g | | 100w 组向量 | 4c8g 50GB | 4c16g 50GB | | 500w 组向量 | 8c32g 200GB | 16c64g 200GB |
“c”代表CPU核心数量,“g”代表内存大小,而“GB”则是存储空间大小的单位
-
Milvus 版本 对于千万级以上向量性能更优秀。 点击查看 Milvus 官方推荐配置 | 环境 | 最低配置(单节点) | 推荐配置 | | --- | --- | --- | | 测试 | 2c8g | 4c16g | | 100w 组向量 | 未测试 | | | 500w 组向量 | | |
具体配置参考:https://milvus.io/docs/prerequisite-docker.md
-
zilliz cloud 版本 亿级以上向量首选。由于向量库使用了 Cloud,无需占用本地资源,无需太关注。
2.2 前置工作
-
确保网络环境 如果使用
OpenAI等国外模型接口,请确保可以正常访问,否则会报错:Connection error等。 方案可以参考:代理方案 -
准备 Docker 环境
#安装 Dockercurl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunsystemctl enable --now docker#安装 docker-composecurl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-compose#验证安装docker -vdocker-compose -v#如失效,自行百度~
2.3 开始部署
1. 下载 docker-compose.yml
非 Linux 环境或无法访问外网环境,可手动创建一个目录,并下载配置文件和对应版本的docker-compose.yml,在这个文件夹中依据下载的配置文件运行 docker,若作为本地开发使用推荐docker-compose-pgvector版本,并且自行拉取并运行sandbox和fastgpt,并在 docker 配置文件中注释掉sandbox和fastgpt的部分
- config.json
- docker-compose.yml (注意,不同向量库版本的文件不一样)
所有
docker-compose.yml配置文件中MongoDB为 5.x,需要用到 AVX 指令集,部分 CPU 不支持,需手动更改其镜像版本为 4.4.24**(需要自己在 docker hub 下载,阿里云镜像没做备份)
Linux 快速脚本
mkdir fastgptcd fastgptcurl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json#pgvector 版本(测试推荐,简单快捷)curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml#milvus 版本#curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml#zilliz 版本#curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
如果下载不下来建议采用下面方法:
从github官网下载所有文件,然后进入FastGPT-main/files/docker
docker compose -f docker-compose-pgvector.yml up#cp docker-compose-pgvector.yml docker-compose.yml#docker compose up
并将/projects/app/data/config.json 移动到docker目录下
2. 修改 docker-compose.yml 环境变量
PG和milvus无需修改,zilliz参考如下
修改MILVUS_ADDRESS和MILVUS_TOKEN链接参数,分别对应 zilliz 的 Public Endpoint 和 Api key,记得把自己 ip 加入白名单。
3. 启动容器
在 docker-compose.yml 同级目录下执行。请确保docker-compose版本最好在 2.17 以上,否则可能无法执行自动化命令。
4. 打开 OneAPI 添加模型
可以通过ip:3001访问 OneAPI,默认账号为root密码为123456。
在 OneApi 中添加合适的 AI 模型渠道。点击查看相关教程
-
添加月之暗面为例商业模型为例
-
修改config.json文件,添加对应模型
,{"model": "moonshot-v1-128k","name": "moonshot-v1-128k","avatar": "","maxContext": 125000,"maxResponse": 8000,"quoteMaxToken": 120000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": true,"datasetProcess": false,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": false,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}}
然后重启docker
docker-compose downdocker-compose up -d
5. 访问 FastGPT
目前可以通过 ip:3000 直接访问 (注意防火墙)。登录用户名为 root,密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。
如果需要域名访问,请自行安装并配置 Nginx。
首次运行,会自动初始化 root 用户,密码为 1234(与环境变量中的DEFAULT_ROOT_PSW一致),日志里会提示一次MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;可忽略。
2.4 Xinference 部署模型接入
Xinference 是一款开源模型推理平台,除了支持 LLM,它还可以部署 Embedding 和 ReRank 模型,这在企业级 RAG 构建中非常关键。同时,Xinference 还提供 Function Calling 等高级功能。还支持分布式部署,也就是说,随着未来应用调用量的增长,它可以进行水平扩展。
- 详细安装内容参考:Xinference实战指南:全面解析LLM大模型部署流程,加速AI项目落地进程
- 官网:https://xorbits.cn/inference
- github:https://github.com/xorbitsai/inference/tree/main
- 官方手册:https://inference.readthedocs.io/zh-cn/latest/index.html
如果你的目标是在一台 Linux 或者 Window 服务器上部署大模型,可以选择 Transformers 或 vLLM 作为 Xinference 的推理后端:
Transformers:通过集成 Huggingface 的 Transformers 库作为后端,Xinference 可以最快地 集成当今自然语言处理(NLP)领域的最前沿模型(自然也包括 LLM)。vLLM: vLLM 是由加州大学伯克利分校开发的一个开源库,专为高效服务大型语言模型(LLM)而设计。它引入了 PagedAttention 算法, 通过有效管理注意力键和值来改善内存管理,吞吐量能够达到 Transformers 的 24 倍,因此 vLLM 适合在生产环境中使用,应对高并发的用户访问。SGLang:是一个用于大型语言模型和视觉语言模型的推理框架。基于并增强了多个开源 LLM 服务引擎(包括LightLLM、vLLM和Guidance )的许多优秀设计。SGLang 利用了FlashInfer注意力性能 CUDA 内核,并集成了受gpt-fast启发的 torch.compile- 1 x A100 (bf16) 上的 Llama-8B 从小模型 Llama-8B 开始,下图展示了每个引擎在离线设置下在六个不同数据集上可以实现的最大输出吞吐量。TensorRT-LLM 和 SGLang 都可以在输入较短的数据集上实现高达每秒 5000 个 token 的出色吞吐量。
假设你服务器配备 NVIDIA 显卡,可以cuda安装教程详解指令来安装 CUDA,从而让 Xinference 最大限度地利用显卡的加速功能。
安装 Xinference
详细安装内容参考:Xinference实战指南:全面解析LLM大模型部署流程,加速AI项目落地进程
首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference,建…