百度开源 Unlimited OCR:一次读完一本书,大幅提升DeepSeek-OCR效果
一句话讲清楚👉🏻 百度提出 Unlimited OCR ,用 Reference Sliding Window Attention 替换 DeepSeek-OCR 解码器里的标准注意力,让长文档 OCR 的 KV cache 保持常量,同时在 OmniDocBench 上把总体分数推到 93.23 。
论文标题:Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing
论文链接:https://arxiv.org/abs/2606.23050
Github 链接:https://github.com/baidu/Unlimited-OCR
长文档 OCR 最让工程师头疼的地方,通常出现在多页连续解析。
一页 PDF 送进去,模型吐出文字、公式、表格和阅读顺序,这件事已经被很多端到端 VLM 做得相当成熟。真正麻烦的是几十页文档连在一起:合同、论文、教材、扫描书、会议材料,一旦页面数上来,系统通常会退回到 page-by-page 的 for-loop 。
这个方案好用,但很笨。每一页都重新编码、重新解析、重新拼接,模型本身没有连续工作状态,外部调度器负责把几十个短任务缝起来。页面边界附近的上下文会断开,速度也不稳定;如果输出越长,解码器的 KV cache 越大,后面的 token 会越来越慢。
换到工程视角看,它更像把 OCR 系统从“每页重新开工”的批处理脚本,改成一个能连续工作的解析进程:原图一直挂在内存里,输出历史只保留最近一小段状态。
Unlimited OCR 就是把这个工作记忆机制塞进 OCR 解码器。
论文的核心改动叫 Reference Sliding Window Attention ,简称 R-SWA 。 每个输出 token 仍然能看见完整的参考信息,也就是视觉 token 和 prompt ;但对已经生成的文本,只看最近 个 token ,默认窗口宽度为 128 。这样一来,模型的输出侧 KV cache 从“随生成长度增长”变成“固定在一个小窗口里”。
R-SWA 的注意力范围:参考 token 全程可见,输出 token 只保留最近窗口,从而让 KV cache 保持常量。
长文档 OCR 卡在解码器
传统文档 OCR 多数是 pipeline :先检测版面块,再对文字、公式、表格分别识别,最后重组阅读顺序。近几年端到端模型开始流行,把检测和识别压进一个 VLM ,让模型直接从页面图像生成结构化文本。
这条路线的优势很明显:流程更统一,复杂版面里的跨块关系也更容易由模型直接建模。 DeepSeek-OCR 、 PaddleOCR-VL 、 MinerU 、 olmOCR 、 dots.ocr 等工作都在往这个方向走。
可端到端 OCR 有一个天然压力:视觉输入要压缩得足够狠,文本输出还要生成得足够长。 如果视觉 token 太多, prefill 阶段就会吃掉大量显存;如果输出 token 太长, decoder 的 KV cache 又会一路增长。
DeepSeek-OCR 的 DeepEncoder 已经解决了前半段压力。它把 SAM-ViT 和 CLIP-ViT 级联起来,在 bridge 处做 16 倍 token 压缩。论文里给出的数字很直观:一张 1024×1024 的 PDF 图像可以压到 256 个视觉 token 。对多页文档来说,这个压缩率非常关键。
剩下的瓶颈转移到了 decoder 。
假设 1 个视觉 token 大约对应 10 个输出文本 token ,那么 10K 个视觉 token ,也就是大约 20 到 30 页文档,就可能需要 100K 级别的输出长度。标准 full attention 会让每一步都看见完整历史,表达力强,但 KV cache 也随 增长。长文档越往后,显存越紧,延迟越高。
Unlimited OCR 的判断很直接: OCR 这种 reference-based parsing 任务,并不需要每个新 token 都回看完整输出历史。模型需要完整参考源,需要附近输出状态来定位进度,远处输出只要已经被“写完”,就可以从解码窗口里退出。
R-SWA :参考信息常驻,历史输出滑动
R-SWA 的注意力集合由两段组成。
第一段是 prefix ,也就是视觉 token 和 prompt ,长度记为 。这部分在一次推理里保持固定,所有后续 token 都能访问。
第二段是 decode region 的滑动窗口,宽度记为 。它只包含当前 token 之前最近的一段输出。
论文给出的可访问集合是:
这里, 表示长度为 的 prefix segment , 表示 decode region 上宽度为 的 causal sliding window 。换成 OCR 语境, 就是“原文一直摆在眼前”, 就是“只记得刚刚写过的一小段”。
在这个集合上,注意力权重仍然是标准 softmax :
输出表示也还是对 value 做加权求和:
其中 、、 分别是 query 、 key 、 value 向量, 是 key 向量维度。也就是说, R-SWA 没有发明一套奇怪的新算子,它改变的是注意力能访问哪些位置。
这个设计比普通 Sliding Window Attention 更适合 OCR 。普通 SWA 如果把所有 token 都放进滑动状态里,视觉 token 也会被一起“滚动”和更新,参考图像特征可能在长序列里逐步变糊。 R-SWA 把参考 token 排除在状态转移之外,让视觉信息长期静态保留。模型一直能看清原图,只对输出历史做软遗忘。
KV cache 从线性增长变成常量上界
标准 MHA 的 cache 长度可以写成:
是已经生成的 token 总数。输出越长, cache 越长。
R-SWA 下,模型保存完整 prefix cache ,同时只保留最近 个输出 token :
如果进一步看两者比例:
当输出足够长,且 时,比例会变成:
长文档场景里, 往往远大于 。这意味着输出越长, R-SWA 相对标准 MHA 的 cache 节省越明显。
这里有个值得注意的取舍: Unlimited OCR 的改动集中在输出侧。视觉 token 仍然要先进 prefill ,模型最大上下文长度仍然限制一次能塞进去多少页。论文里的“unlimited”更准确地说,是把 decode-side 的线性增长掐掉,让长输出不再成为主要瓶颈。
Unlimited OCR 架构: DeepEncoder 负责高压缩视觉编码, MoE-LLM decoder 的所有注意力层替换为 R-SWA ,输出 KV 以固定容量队列维护。
模型怎么训练
Unlimited OCR 直接建立在 DeepSeek-OCR checkpoint 上。
架构上,它保留 DeepEncoder ,也保留 MoE decoder 的规模设定:总参数 3B ,推理时激活 500M 。训练时冻结 DeepEncoder ,只训练 LLM 参数。这个选择很务实: DeepEncoder 已经足够适合高分辨率文档图像,论文要验证的是 decoder attention 的替换能不能撑住长文档解析。
数据方面,论文构建了约 200 万个文档 OCR 样本,单页和多页比…