Harness 与 Agent 工程 · AI研发与测试工程 · 2025-11-23

PaddleOCR-VL-0.9B生产部署

PaddleOCR-VL-0.9B生产部署指南:如何用vllm和SGLang实现高效推理加速。

核心内容:

  1. PaddleOCR-VL-0.9B的生产环境部署方案对比
  2. 使用vllm作为后端的详细部署步骤
  3. 客户端调用服务的Python API使用方法

前文PaddleOCR-VL-0.9B上手体验写了如何使用PaddleOCR-VL来做图片的识别过程,而真正生成环境部署时Paddle不推荐使用之前的方式。

因为Paddle的模型自成体系并做了优化,但PaddleOCR-VL-0.9B却使用的Hugging Face的模型格式,Paddle并未对其进行优化,所以推荐使用vllm和SGLang这样的专用大模型推理工具作为后端进行生成部署使用。

本文就分别介绍在用一台机器上使用vllm作为后端部署的场景和将整个OCR识别作为远端服务的场景


后端部署和服务部署的区别

PaddleOCR-VL实际的架构,大体描述如下:

要加快PaddleOCR-VL-0.9B的推理呢,需要分成两个独立的进程且部署在同一台设备中:

为了减少耦合性,进一步采用服务部署的方式,识别进程和服务可以分别部署于不同的设备节点上,架构如下:


Vllm后端部署

安装推理加速服务依赖

paddleocr install_genai_server_deps vllm

安装完成后,可通过 paddleocr genai_server 命令启动服务:

paddleocr genai_server --model_name PaddleOCR-VL-0.9B --backend vllm --port 8118

该命令支持的参数如下:

参数 说明
--model_name 模型名称
--model_dir 模型目录
--host 服务器主机名
--port 服务器端口号
--backend 后端名称,即使用的推理加速框架名称,可选 vllm 或 sglang
--backend_config 可指定 YAML 文件,包含后端配置

客户端使用方法¶

启动 VLM 推理服务后,客户端即可通过 PaddleOCR 调用该服务。

Python API 调用¶

创建 PaddleOCRVL 对象时传入 vl_rec_backend 和 vl_rec_server_url 参数:


from paddleocr import PaddleOCRVLpipeline = PaddleOCRVL(vl_rec_backend="vllm-server", vl_rec_server_url="http://127.0.0.1:8118/v1")output = pipeline.predict("webwxgetmsgimg.jpeg")#print(output)for res in output: #res.print() res.save_to_json(save_path="output") res.save_to_markdown(save_path="output") print(res._to_json()) print(dir(res))

需要注意的地方¶

  1. 当前通过paddleocr install_genai_server_deps vllm安装的vllm版本为0.10.1,pytorch为2.8.0,如果你直接使用自己安装的版本时要做个参照,比之小的vllm版本如0.6.x时会因为不兼容报错。

  2. 所需显存

vllm启动真实所需的显存大约为4.2GB,但实际情况下需要有更多的空闲显存才能启动,否则将报OOM。如果还有其它模型需要同时运行,一种取巧的方法是先启动vllm的,等启动成功后,再启动其它模型。

  1. 配置修改

对于传入后端vllm的参数可以通过过/home/zhds/.local/lib/python3.10/site-packages/paddlex/inference/genai/configs/paddleocr_vl_09b.py文件进行修改

def get_config(backend): if backend == "fastdeploy": return { "gpu-memory-utilization": 0.3, "max-model-len": 16384, "max-num-batched-tokens": 131072, "max-num-seqs": 256, } elif backend == "vllm": return { "trust-remote-code": True, "gpu-memory-utilization": 0.3, "max-model-len": 16384, "max-num-batched-tokens": 131072, "api-server-count": 4, "max-num-seqs":4, } elif backend == "sglang": return { "trust-remote-code": True, "mem-fraction-static": 0.5, "context-length": 16384, "max-prefill-tokens": 131072, } else: raise ValueError(f"Unsupported backend: {backend}")

SGLang后端部署

安装依赖

paddleocr install_genai_server_deps sglang

官方提供的sglang版本为0.5.2,可惜sglang的依赖flashinfer=0.3.1的版本太过复杂无法安装成功。手工安装flashinfer==0.5.2可以成功,但最后运行时会报参数个数错误,和sglang-0.5.2版本不匹配导致无法运行。

解决办法

最后通过单独安装sglang==0.5.5版本解决,有可能单独安装torchao, pytorch默认不带此组件。

启动命令:

paddleocr genai_server --model_name PaddleOCR-VL-0.9B --backend sglang --port 8119

输出如下:

[2025-11-22 15:02:40] INFO: Application startup complete.[2025-11-22 15:02:40] INFO: Uvicorn running on http://localhost:8119 (Press CTRL+C to quit)[2025-11-22 15:02:40] INFO: 127.0.0.1:53766 - "GET /health HTTP/1.1" 503 Service Unavailable[2025-11-22 15:02:41] INFO: 127.0.0.1:53774 - "GET /get_model_info HTTP/1.1" 200 OK[2025-11-22 15:02:41] Prefill batch, #new-seq: 1, #new-token: 6, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, [2025-11-22 15:02:41] INFO: 127.0.0.1:53790 - "GET /health HTT…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2025112327609.html