LiteParse:457 页 PDF 不到 1 秒,LlamaIndex 把解析器用 Rust 重写了
8.6k Star,Rust 重写,零 LLM 调用,比 PyMuPDF 快 88 倍。纯本地、全平台、Agent 开箱即用。
给 Agent 喂 PDF,第一步永远是解析。这个环节有多慢? PyMuPDF,Python 生态最常用的 PDF 库,解析一份 100MB、457 页的 PDF,68.8 秒。等 Agent 看到文档内容,用户已经泡好咖啡了。 LiteParse 做同一件事:0.777 秒。 不是多线程,不是 GPU,就是 Rust 替换了 Python。
这不是又一个 PDF 库
LiteParse 是 LlamaIndex 团队今年 2 月开源的。一开始是 TypeScript 写的,只有 Node.js 能用。4 月底——LlamaIndex 做了一个狠决定:全量 Rust 重写。 替换的不只是语言。底层引擎从 PDF.js 换成了 PDFium——Google 给 Chromium 写的 PDF 渲染引擎,C 语言,原生速度。这才是 88 倍差距的核心原因:不是"用 Rust 所以快",是"换成 C 引擎 + Rust 绑定所以快"。 1输入:PDF/DOCX/XLSX/PPTX/Images2 ↓ LibreOffice / ImageMagick 转 PDF3PDFium(Google C 引擎,Chromium 同款)4 ├─ 原生文本提取5 ├─ OCR 降级(Tesseract 内置,只对图片区域)6 └─ 智能合并(原生文本 + OCR 去重)7 ↓ Grid Projection(空间布局重建)8输出:JSON(含bbox) / Text / Screenshotsv2.0 上周刚发。8.6k Star,20 个 contributors,50 个 release。社区增速很快。
为什么快:不是 Rust,是 PDFium
大部分人看到 "Rust 重写" 就默认归因于语言。但 LiteParse 快的关键是 PDFium。 PDFium 是什么?你打开 Chrome,点一个 PDF——渲染它的就是 PDFium。Google 维护了十几年,C 语言,经过亿级用户验证。PDF.js(火狐的方案,也是 v1 用的)是 JS 实现,架构上就不可能比 C 快。 LiteParse 做的事:用 Rust 写了一个 PDFium 的 FFI 绑定(pdfium-sys + pdfium crate),然后基于它做了文本提取、Grid Projection、OCR 合并。 OCR 策略也很聪明:不是全文 OCR。 默认只对 PDFium 提取失败的区域(扫描件、图片嵌入)做 OCR。内置 Tesseract,也支持 HTTP OCR Server(EasyOCR / PaddleOCR 随便接)。这个"能省就省"的思路把 CPU 浪费压到最低。
实测
装了 Python 版跑了几份真实文档。 1pip install liteparse1from liteparse import LiteParse23parser = LiteParse()4result = parser.parse("irs_1040.pdf")5print(f"Pages: {len(result.pages)}, Items: {len(result.pages[0].text_i…