前文PaddleOCR-VL-0.9B上手体验写了如何使用PaddleOCR-VL来做图片的识别过程,而真正生成环境部署时Paddle不推荐使用之前的方式。
因为Paddle的模型自成体系并做了优化,但PaddleOCR-VL-0.9B却使用的Hugging Face的模型格式,Paddle并未对其进行优化,所以推荐使用vllm和SGLang这样的专用大模型推理工具作为后端进行生成部署使用。
本文就分别介绍在用一台机器上使用vllm作为后端部署的场景和将整个OCR识别作为远端服务的场景
后端部署和服务部署的区别
PaddleOCR-VL实际的架构,大体描述如下:
要加快PaddleOCR-VL-0.9B的推理呢,需要分成两个独立的进程且部署在同一台设备中:
为了减少耦合性,进一步采用服务部署的方式,识别进程和服务可以分别部署于不同的设备节点上,架构如下:
Vllm后端部署
安装推理加速服务依赖
paddleocr install_genai_server_deps vllm
安装完成后,可通过 paddleocr genai_server 命令启动服务:
paddleocr genai_server --model_name PaddleOCR-VL-0.9B --backend vllm --port 8118
该命令支持的参数如下:
| 参数 | 说明 |
|---|---|
--model_name |
模型名称 |
--model_dir |
模型目录 |
--host |
服务器主机名 |
--port |
服务器端口号 |
--backend |
后端名称,即使用的推理加速框架名称,可选 vllm 或 sglang |
--backend_config |
可指定 YAML 文件,包含后端配置 |
客户端使用方法¶
启动 VLM 推理服务后,客户端即可通过 PaddleOCR 调用该服务。
Python API 调用¶
创建 PaddleOCRVL 对象时传入 vl_rec_backend 和 vl_rec_server_url 参数:
from paddleocr import PaddleOCRVLpipeline = PaddleOCRVL(vl_rec_backend="vllm-server", vl_rec_server_url="http://127.0.0.1:8118/v1")output = pipeline.predict("webwxgetmsgimg.jpeg")#print(output)for res in output: #res.print() res.save_to_json(save_path="output") res.save_to_markdown(save_path="output") print(res._to_json()) print(dir(res))
需要注意的地方¶
-
当前通过paddleocr install_genai_server_deps vllm安装的vllm版本为0.10.1,pytorch为2.8.0,如果你直接使用自己安装的版本时要做个参照,比之小的vllm版本如0.6.x时会因为不兼容报错。
-
所需显存
vllm启动真实所需的显存大约为4.2GB,但实际情况下需要有更多的空闲显存才能启动,否则将报OOM。如果还有其它模型需要同时运行,一种取巧的方法是先启动vllm的,等启动成功后,再启动其它模型。
- 配置修改
对于传入后端vllm的参数可以通过过/home/zhds/.local/lib/python3.10/site-packages/paddlex/inference/genai/configs/paddleocr_vl_09b.py文件进行修改
def get_config(backend): if backend == "fastdeploy": return { "gpu-memory-utilization": 0.3, "max-model-len": 16384, "max-num-batched-tokens": 131072, "max-num-seqs": 256, } elif backend == "vllm": return { "trust-remote-code": True, "gpu-memory-utilization": 0.3, "max-model-len": 16384, "max-num-batched-tokens": 131072, "api-server-count": 4, "max-num-seqs":4, } elif backend == "sglang": return { "trust-remote-code": True, "mem-fraction-static": 0.5, "context-length": 16384, "max-prefill-tokens": 131072, } else: raise ValueError(f"Unsupported backend: {backend}")
SGLang后端部署
安装依赖
paddleocr install_genai_server_deps sglang
官方提供的sglang版本为0.5.2,可惜sglang的依赖flashinfer=0.3.1的版本太过复杂无法安装成功。手工安装flashinfer==0.5.2可以成功,但最后运行时会报参数个数错误,和sglang-0.5.2版本不匹配导致无法运行。
解决办法
最后通过单独安装sglang==0.5.5版本解决,有可能单独安装torchao, pytorch默认不带此组件。
启动命令:
paddleocr genai_server --model_name PaddleOCR-VL-0.9B --backend sglang --port 8119
输出如下:
[2025-11-22 15:02:40] INFO: Application startup complete.[2025-11-22 15:02:40] INFO: Uvicorn running on http://localhost:8119 (Press CTRL+C to quit)[2025-11-22 15:02:40] INFO: 127.0.0.1:53766 - "GET /health HTTP/1.1" 503 Service Unavailable[2025-11-22 15:02:41] INFO: 127.0.0.1:53774 - "GET /get_model_info HTTP/1.1" 200 OK[2025-11-22 15:02:41] Prefill batch, #new-seq: 1, #new-token: 6, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, [2025-11-22 15:02:41] INFO: 127.0.0.1:53790 - "GET /health HTT…