百度开源 Unlimited OCR:一次读完一本书,大幅提升DeepSeek-OCR效果

一句话讲清楚👉🏻 百度提出 Unlimited OCR ,用 Reference Sliding Window Attention 替换 DeepSeek-OCR 解码器里的标准注意力,让长文档 OCR 的 KV cache 保持常量,同时在 OmniDocBench 上把总体分数推到 93.23 。

  • 论文标题:Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing

  • 论文链接:https://arxiv.org/abs/2606.23050

  • Github 链接:https://github.com/baidu/Unlimited-OCR

长文档 OCR 最让工程师头疼的地方,通常出现在多页连续解析。

一页 PDF 送进去,模型吐出文字、公式、表格和阅读顺序,这件事已经被很多端到端 VLM 做得相当成熟。真正麻烦的是几十页文档连在一起:合同、论文、教材、扫描书、会议材料,一旦页面数上来,系统通常会退回到 page-by-page 的 for-loop 。

这个方案好用,但很笨。每一页都重新编码、重新解析、重新拼接,模型本身没有连续工作状态,外部调度器负责把几十个短任务缝起来。页面边界附近的上下文会断开,速度也不稳定;如果输出越长,解码器的 KV cache 越大,后面的 token 会越来越慢。

换到工程视角看,它更像把 OCR 系统从“每页重新开工”的批处理脚本,改成一个能连续工作的解析进程:原图一直挂在内存里,输出历史只保留最近一小段状态。

Unlimited OCR 就是把这个工作记忆机制塞进 OCR 解码器。

论文的核心改动叫 Reference Sliding Window Attention ,简称 R-SWA 。 每个输出 token 仍然能看见完整的参考信息,也就是视觉 token 和 prompt ;但对已经生成的文本,只看最近  个 token ,默认窗口宽度为 128 。这样一来,模型的输出侧 KV cache 从“随生成长度增长”变成“固定在一个小窗口里”。

R-SWA 的注意力范围:参考 token 全程可见,输出 token 只保留最近窗口,从而让 KV cache 保持常量。

长文档 OCR 卡在解码器

传统文档 OCR 多数是 pipeline :先检测版面块,再对文字、公式、表格分别识别,最后重组阅读顺序。近几年端到端模型开始流行,把检测和识别压进一个 VLM ,让模型直接从页面图像生成结构化文本。

这条路线的优势很明显:流程更统一,复杂版面里的跨块关系也更容易由模型直接建模。 DeepSeek-OCR 、 PaddleOCR-VL 、 MinerU 、 olmOCR 、 dots.ocr 等工作都在往这个方向走。

可端到端 OCR 有一个天然压力:视觉输入要压缩得足够狠,文本输出还要生成得足够长。 如果视觉 token 太多, prefill 阶段就会吃掉大量显存;如果输出 token 太长, decoder 的 KV cache 又会一路增长。

DeepSeek-OCR 的 DeepEncoder 已经解决了前半段压力。它把 SAM-ViT 和 CLIP-ViT 级联起来,在 bridge 处做 16 倍 token 压缩。论文里给出的数字很直观:一张 1024×1024 的 PDF 图像可以压到 256 个视觉 token 。对多页文档来说,这个压缩率非常关键。

剩下的瓶颈转移到了 decoder 。

假设 1 个视觉 token 大约对应 10 个输出文本 token ,那么 10K 个视觉 token ,也就是大约 20 到 30 页文档,就可能需要 100K 级别的输出长度。标准 full attention 会让每一步都看见完整历史,表达力强,但 KV cache 也随  增长。长文档越往后,显存越紧,延迟越高。

Unlimited OCR 的判断很直接: OCR 这种 reference-based parsing 任务,并不需要每个新 token 都回看完整输出历史。模型需要完整参考源,需要附近输出状态来定位进度,远处输出只要已经被“写完”,就可以从解码窗口里退出。

R-SWA :参考信息常驻,历史输出滑动

R-SWA 的注意力集合由两段组成。

第一段是 prefix ,也就是视觉 token 和 prompt ,长度记为 。这部分在一次推理里保持固定,所有后续 token 都能访问。

第二段是 decode region 的滑动窗口,宽度记为 。它只包含当前 token 之前最近的一段输出。

论文给出的可访问集合是:

这里, 表示长度为  的 prefix segment , 表示 decode region 上宽度为  的 causal sliding window 。换成 OCR 语境, 就是“原文一直摆在眼前”, 就是“只记得刚刚写过的一小段”。

在这个集合上,注意力权重仍然是标准 softmax :

输出表示也还是对 value 做加权求和:

其中 、、 分别是 query 、 key 、 value 向量, 是 key 向量维度。也就是说, R-SWA 没有发明一套奇怪的新算子,它改变的是注意力能访问哪些位置。

这个设计比普通 Sliding Window Attention 更适合 OCR 。普通 SWA 如果把所有 token 都放进滑动状态里,视觉 token 也会被一起“滚动”和更新,参考图像特征可能在长序列里逐步变糊。 R-SWA 把参考 token 排除在状态转移之外,让视觉信息长期静态保留。模型一直能看清原图,只对输出历史做软遗忘。

KV cache 从线性增长变成常量上界

标准 MHA 的 cache 长度可以写成:

 是已经生成的 token 总数。输出越长, cache 越长。

R-SWA 下,模型保存完整 prefix cache ,同时只保留最近  个输出 token :

如果进一步看两者比例:

当输出足够长,且  时,比例会变成:

长文档场景里, 往往远大于 。这意味着输出越长, R-SWA 相对标准 MHA 的 cache 节省越明显。

这里有个值得注意的取舍: Unlimited OCR 的改动集中在输出侧。视觉 token 仍然要先进 prefill ,模型最大上下文长度仍然限制一次能塞进去多少页。论文里的“unlimited”更准确地说,是把 decode-side 的线性增长掐掉,让长输出不再成为主要瓶颈。

Unlimited OCR 架构: DeepEncoder 负责高压缩视觉编码, MoE-LLM decoder 的所有注意力层替换为 R-SWA ,输出 KV 以固定容量队列维护。

模型怎么训练

Unlimited OCR 直接建立在 DeepSeek-OCR checkpoint 上。

架构上,它保留 DeepEncoder ,也保留 MoE decoder 的规模设定:总参数 3B ,推理时激活 500M 。训练时冻结 DeepEncoder ,只训练 LLM 参数。这个选择很务实: DeepEncoder 已经足够适合高分辨率文档图像,论文要验证的是 decoder attention 的替换能不能撑住长文档解析。

数据方面,论文构建了约 200 万个文档 OCR 样本,单页和多页比…

— 以上为试看内容(约 40%),开通会员后阅读全文 —