PixelRAG:伯克利团队颠覆传统 RAG,用截图代替文本检索! 28 天狂揽 3000+ Star!
大家好,这里是 AI开源提效指南!
传统 RAG 系统有个致命缺陷:它会把网页渲染成纯文本格式,表格、图表、信息图——所有视觉结构全丢了。
伯克利 SkyLab 团队开源的 PixelRAG 彻底颠覆了这一范式——直接对页面截图,在像素级别进行检索。
上线不到一个月狂揽 3000+ Star,已经预索引了近 800 多万篇文章!
一句话推荐:检索的未来,是看而不是读。
适合场景:
✅ 需要理解表格/图表内容的 RAG 系统 ✅ AI Agent 的网页视觉理解能力 ✅ 大规模 Wikipedia 视觉搜索
推荐理由:
像素级检索:直接对截图做向量检索,表格/图表/排版信息完整保留 即开即用:预索引 828 万 Wikipedia 文章,一行 curl 即可搜索 伯克利血统:来自 SkyLab/BAIR/Berkeley NLP,附带完整学术论文
✨ 核心功能
功能 1:像素级截图渲染(pixelshot)
将任意网页、PDF、本地 HTML 渲染为 8192px 高的 JPEG 截图瓦片(tile),再切分为 1024px 的块(chunk)。支持 CDP 协议直接控制 Chrome,无需 Playwright 依赖。
关键优势:
✅ 无 Playwright 依赖,通过原生 WebSocket 协议控制 Chrome ✅ 支持 Turbo 加速路径(定制版 Chrome + 共享内存 + 并行 JPEG 压缩),批量吞吐翻倍 ✅ 支持 URL、PDF、本地图片、HTML 文件多种输入
功能 2:视觉语义嵌入(Qwen3-VL-Embedding)
使用 LoRA 微调的 Qwen3-VL-Embedding-2B 模型,将截图块编码为向量。支持 ViT 视觉编码器 LoRA + 文本预热 + 难负样本挖掘。
关键优势:
✅ 在 SimpleQA 测试集上达到 QA Score ≈ 0.785(基础模型仅 0.715~0.730) ✅ 支持 vLLM / SGLang / 原生 transformers 多种推理后端 ✅ 训练数据、LoRA 适配器全部开源
功能 3:FAISS 向量搜索引擎
基于 FAISS IVF 索引的视觉搜索引擎,支持文本查询、图片查询、文本+图片联合查询。
关键优势:
✅ 预索引 828 万 Wikipedia 文章,约 2810 万个截图块 ✅ 支持 articles_only 过滤(排除 Wikipedia 元页面) ✅ 单次搜索延迟约 42ms(GPU 编码)+ FAISS 毫秒级检索
功能 4:Claude Code 插件(pixelbrowse)
pixelshot 还作为 Claude Code 的插件发布,让 Claude 能「看」网页——截图后直接读取图片内容。
关键优势:
✅ 无需 MCP 服务器,一行命令安装 ✅ 支持 /screenshot斜杠命令✅ 图表、表格、排版信息完整保留
📦 安装步骤
环境要求
Python >= 3.12 操作系统:Linux / macOS / Windows 渲染需要 Chrome/Chromium( pixelshot install-chrome自动下载)
安装命令
# 核心渲染工具(无 ML 依赖,轻量)
pip install pixelrag
# 完整索引构建(含 torch、transformers)
pip install 'pixelrag[index]'
# 搜索服务(FastAPI + FAISS)
pip install 'pixelrag[serve]'
# 全部安装
pip install 'pixelrag[all]'
快速上手
请参考:官方 API 文档
🔧 工作原理
核心模块 1:CDP 渲染引擎
文件路径:render/src/pixelrag_render/backends/cdp.py
async def capture_url(ws, msg_id_ref, url, tile_dir, *, tile_h=8192, quality=85, ...):
# 1. 导航到目标 URL
await _cdp_send(ws, msg_id_ref, "Page.navigate", {"url": url})
# 2. 等待页面加载 + 字体就绪 + 布局稳定
result = await _cdp_send(ws, msg_id_ref, "Runtime.evaluate", {
"expression": _readiness_expr(wait_network_idle),
"awaitPromise": True,
})
# 3. 从顶部开始,按 tile_h 高度切片截图
while y < page_height:
clip_h = min(tile_h, page_height - y)
result = await _cdp_send(ws, msg_id…