Harness 与 Agent 工程 · AI研发与测试工程 · 2025-12-08

Docker+vLLM内网离线部署Qwen3教程

Docker+vLLM内网离线部署Qwen3教程,手把手教你实现高效稳定的AI模型部署。

核心内容:

  1. Docker部署vLLM的四大优势:环境隔离、跨平台迁移、轻松扩展和统一管理
  2. 详细的环境准备步骤,包括Nvidia显卡驱动、CUDA和Docker的安装
  3. 内网离线部署Qwen3-32B的具体操作流程和注意事项

特别声明:该文章出于传递知识而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。****

一、Docker部署

vllm的优势

  1. 环境隔离:Docker通过容器隔离技术为VLLM提供独立的运行环境,避免系统库版本冲突和依赖错误问题。

  2. 便捷的跨平台迁移:使用Docker部署的VLLM容器可以轻松迁移到不同的服务器、数据中心或云平台上,大大降低了环境搭建和维护的成本。

  3. 轻松扩展:借助容器化,VLLM可以轻松进行水平扩展,通过在多节点上运行多个容器实例实现高并发的推理服务。

  4. 统一管理:容器化部署后,可以使用Docker Compose、Kubernetes等容器编排工具进行自动化管理,包括负载均衡、故障转移等操作,极大地简化了多实例部署的管理难度。

二、环境准备

01

Nvidia显卡驱动、CUDA、nvidia-container安装

参考文章:显卡驱动、CUDA、NVIDIA Container Toolkit内网安装教程 02

Docker环境安装

参考文章:Docker 和 Docker Compose 内网离线安装教程 注意:在进行VLLM容器化部署之前,需要确保已在服务器上安装了Docker 和Nvidia显卡驱动、CUDA、nvidia-container。

三、

vllm内网离线部署Qwen3-32B

系统环境:

01

拉取vllm/vllm-openai镜像

vllm官方地址:https://github.com/vllm-project/vllm.git在能联网的机器上拉取vllm/vllm-openai镜像,然后导出镜像,再导入到内网的服务器上,我导入的目录是 /data (根据个人习惯导入对应的目录即可),对应的操作命令如下:

## 1. docker拉取vllm/vllm-openai镜像, 20G 需要等一会。docker pull vllm/vllm-openai# 2. 从联网的机器上导出镜像docker save -o vllm-openai-image.tar vllm/vllm-openai:latest# 3. 将压缩包vllm-openai-image.tar 上传到 /data 目录cd /data# 4. docker加载上传的本地镜像包docker load < vllm-openai-image.tar# 5. 查看docker 镜像docker images

到这一步vllm/vllm-openai镜像就安装成功了。

02

下载Qwen/Qwen3-32B模型文件

常用模型下载地址: Hugging Face Hub:全球最大的开源模型和数据集托管平台,提供大量 GGUF 格式等多种类型的大模型下载。网址为https://huggingface.co/,国内镜像为https://hf-mirror.com/,访问镜像网站速度更快。ModelScope 魔搭社区:由阿里云开源的大模型社区,支持 GGUF 格式模型的下载和在线推理。网址是https://www.modelscope.cn/models,可通过 SDK 或 git 进行下载。GitCode:全新上线了国产模型专区,是国产大模型的汇聚地,为开发者提供便捷获取各类优质模型的途径,网址为https://gitcode.net/。我是在魔塔社区下载的模型源文件:

下载命令:魔塔社区提供多种下载方式,我是用git下载的:

#Git下载#请确保 lfs 已经被正确安装git lfs installgit clone https://www.modelscope.cn/Qwen/Qwen3-32B.git

先在联网的电脑上把模型下载到本地,然后复制模型文件到内网的服务器的/data/目录中,如下:

03

vllm内网部署Qwen/Qwen3-32B

直接运行下面命令即可将Qwen/Qwen3-32B模型运行起来,注意模型文件的路径需要换成自己的,模型的参数根据自己的显卡情况进行调参。

docker run -d --privileged --gpus all --restart unless-stopped --network host -v /data/Qwen3-32B:/app/model --shm-size 32G --name vllm-qwen3 vllm/vllm-openai:latest --model /app/model --served-model-name qwen3:32b --dtype half --kv-cache-dtype=fp8_e4m3 --calculate-kv-scales --port 8008 --tensor-parallel-size 4 --trust-remote-code --max-model-len 32000 --max-num-batched-tokens 64000 --max-num-seqs 4 --gpu-memory-utilization 0.95 --api-key OPENWEBUl123 --reasoning-parser DeepSeek_r1

格式化后的脚本:

docker run -d --privileged --gpus all \--restart unless-stopped --…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2025120863450.html