PixelRAG:伯克利团队颠覆传统 RAG,用截图代替文本检索! 28 天狂揽 3000+ Star!

大家好,这里是 AI开源提效指南!

传统 RAG 系统有个致命缺陷:它会把网页渲染成纯文本格式,表格、图表、信息图——所有视觉结构全丢了。

伯克利 SkyLab 团队开源的 PixelRAG 彻底颠覆了这一范式——直接对页面截图,在像素级别进行检索。

上线不到一个月狂揽 3000+ Star,已经预索引了近  800 多万篇文章!

一句话推荐:检索的未来,是看而不是读。

适合场景:

  • ✅ 需要理解表格/图表内容的 RAG 系统
  • ✅ AI Agent 的网页视觉理解能力
  • ✅ 大规模 Wikipedia 视觉搜索

推荐理由:

  1. 像素级检索:直接对截图做向量检索,表格/图表/排版信息完整保留
  2. 即开即用:预索引 828 万 Wikipedia 文章,一行 curl 即可搜索
  3. 伯克利血统:来自 SkyLab/BAIR/Berkeley NLP,附带完整学术论文

✨ 核心功能

功能 1:像素级截图渲染(pixelshot)

将任意网页、PDF、本地 HTML 渲染为 8192px 高的 JPEG 截图瓦片(tile),再切分为 1024px 的块(chunk)。支持 CDP 协议直接控制 Chrome,无需 Playwright 依赖。

关键优势:

  • ✅ 无 Playwright 依赖,通过原生 WebSocket 协议控制 Chrome
  • ✅ 支持 Turbo 加速路径(定制版 Chrome + 共享内存 + 并行 JPEG 压缩),批量吞吐翻倍
  • ✅ 支持 URL、PDF、本地图片、HTML 文件多种输入

功能 2:视觉语义嵌入(Qwen3-VL-Embedding)

使用 LoRA 微调的 Qwen3-VL-Embedding-2B 模型,将截图块编码为向量。支持 ViT 视觉编码器 LoRA + 文本预热 + 难负样本挖掘。

关键优势:

  • ✅ 在 SimpleQA 测试集上达到 QA Score ≈ 0.785(基础模型仅 0.715~0.730)
  • ✅ 支持 vLLM / SGLang / 原生 transformers 多种推理后端
  • ✅ 训练数据、LoRA 适配器全部开源

功能 3:FAISS 向量搜索引擎

基于 FAISS IVF 索引的视觉搜索引擎,支持文本查询、图片查询、文本+图片联合查询。

关键优势:

  • ✅ 预索引 828 万 Wikipedia 文章,约 2810 万个截图块
  • ✅ 支持 articles_only 过滤(排除 Wikipedia 元页面)
  • ✅ 单次搜索延迟约 42ms(GPU 编码)+ FAISS 毫秒级检索

功能 4:Claude Code 插件(pixelbrowse)

pixelshot 还作为 Claude Code 的插件发布,让 Claude 能「看」网页——截图后直接读取图片内容。

关键优势:

  • ✅ 无需 MCP 服务器,一行命令安装
  • ✅ 支持 /screenshot 斜杠命令
  • ✅ 图表、表格、排版信息完整保留

📦 安装步骤

环境要求

  • Python >= 3.12
  • 操作系统:Linux / macOS / Windows
  • 渲染需要 Chrome/Chromium(pixelshot install-chrome 自动下载)

安装命令

# 核心渲染工具(无 ML 依赖,轻量)
pip install pixelrag

# 完整索引构建(含 torch、transformers)
pip install 'pixelrag[index]'

# 搜索服务(FastAPI + FAISS)
pip install 'pixelrag[serve]'

# 全部安装
pip install 'pixelrag[all]'

快速上手

请参考:官方 API 文档

🔧 工作原理

核心模块 1:CDP 渲染引擎

文件路径:render/src/pixelrag_render/backends/cdp.py

async def capture_url(ws, msg_id_ref, url, tile_dir, *, tile_h=8192, quality=85, ...):
    # 1. 导航到目标 URL
    await _cdp_send(ws, msg_id_ref, "Page.navigate", {"url": url})
    
    # 2. 等待页面加载 + 字体就绪 + 布局稳定
    result = await _cdp_send(ws, msg_id_ref, "Runtime.evaluate", {
        "expression": _readiness_expr(wait_network_idle),
        "awaitPromise": True,
    })
    
    # 3. 从顶部开始,按 tile_h 高度切片截图
    while y < page_height:
        clip_h = min(tile_h, page_height - y)
        result = await _cdp_send(ws, msg_id…
— 以上为试看内容(约 40%),开通会员后阅读全文 —