特别声明:该文章出于传递知识而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。****
一、Docker部署
vllm的优势
-
环境隔离:Docker通过容器隔离技术为VLLM提供独立的运行环境,避免系统库版本冲突和依赖错误问题。
-
便捷的跨平台迁移:使用Docker部署的VLLM容器可以轻松迁移到不同的服务器、数据中心或云平台上,大大降低了环境搭建和维护的成本。
-
轻松扩展:借助容器化,VLLM可以轻松进行水平扩展,通过在多节点上运行多个容器实例实现高并发的推理服务。
-
统一管理:容器化部署后,可以使用Docker Compose、Kubernetes等容器编排工具进行自动化管理,包括负载均衡、故障转移等操作,极大地简化了多实例部署的管理难度。
二、环境准备
01
Nvidia显卡驱动、CUDA、nvidia-container安装
参考文章:显卡驱动、CUDA、NVIDIA Container Toolkit内网安装教程 02
Docker环境安装
参考文章:Docker 和 Docker Compose 内网离线安装教程 注意:在进行VLLM容器化部署之前,需要确保已在服务器上安装了Docker 和Nvidia显卡驱动、CUDA、nvidia-container。
三、
vllm内网离线部署Qwen3-32B
系统环境:
- 操作系统:Ubuntu22.04
- Docker:28.0.4
- Docker-Compose:v2.34.0
- 显卡驱动:550.144.03
- CUDA:12.4
- 显卡:NVIDIA RTX A5000 * 4
01
拉取vllm/vllm-openai镜像
vllm官方地址:https://github.com/vllm-project/vllm.git在能联网的机器上拉取vllm/vllm-openai镜像,然后导出镜像,再导入到内网的服务器上,我导入的目录是 /data (根据个人习惯导入对应的目录即可),对应的操作命令如下:
## 1. docker拉取vllm/vllm-openai镜像, 20G 需要等一会。docker pull vllm/vllm-openai# 2. 从联网的机器上导出镜像docker save -o vllm-openai-image.tar vllm/vllm-openai:latest# 3. 将压缩包vllm-openai-image.tar 上传到 /data 目录cd /data# 4. docker加载上传的本地镜像包docker load < vllm-openai-image.tar# 5. 查看docker 镜像docker images
到这一步vllm/vllm-openai镜像就安装成功了。
02
下载Qwen/Qwen3-32B模型文件
常用模型下载地址: Hugging Face Hub:全球最大的开源模型和数据集托管平台,提供大量 GGUF 格式等多种类型的大模型下载。网址为https://huggingface.co/,国内镜像为https://hf-mirror.com/,访问镜像网站速度更快。ModelScope 魔搭社区:由阿里云开源的大模型社区,支持 GGUF 格式模型的下载和在线推理。网址是https://www.modelscope.cn/models,可通过 SDK 或 git 进行下载。GitCode:全新上线了国产模型专区,是国产大模型的汇聚地,为开发者提供便捷获取各类优质模型的途径,网址为https://gitcode.net/。我是在魔塔社区下载的模型源文件:
下载命令:魔塔社区提供多种下载方式,我是用git下载的:
#Git下载#请确保 lfs 已经被正确安装git lfs installgit clone https://www.modelscope.cn/Qwen/Qwen3-32B.git
先在联网的电脑上把模型下载到本地,然后复制模型文件到内网的服务器的/data/目录中,如下:
03
vllm内网部署Qwen/Qwen3-32B
直接运行下面命令即可将Qwen/Qwen3-32B模型运行起来,注意模型文件的路径需要换成自己的,模型的参数根据自己的显卡情况进行调参。
docker run -d --privileged --gpus all --restart unless-stopped --network host -v /data/Qwen3-32B:/app/model --shm-size 32G --name vllm-qwen3 vllm/vllm-openai:latest --model /app/model --served-model-name qwen3:32b --dtype half --kv-cache-dtype=fp8_e4m3 --calculate-kv-scales --port 8008 --tensor-parallel-size 4 --trust-remote-code --max-model-len 32000 --max-num-batched-tokens 64000 --max-num-seqs 4 --gpu-memory-utilization 0.95 --api-key OPENWEBUl123 --reasoning-parser DeepSeek_r1
格式化后的脚本:
docker run -d --privileged --gpus all \--restart unless-stopped --…