别再傻傻分块了:这个开源引擎让 RAG 准确率飙升 260%
原文作者:@_avichawla(X/Twitter) 编译 + 楠哥解读PART 01
PART 01 传统 RAG 的致命缺陷
先说一个你可能已经隐约感觉到但没有量化过的事实:传统 RAG 管线里的「分块」策略,从根本上就是错的。
大多数 RAG 系统的做法是:把文档切成固定大小的文本块,扔进向量数据库,然后指望余弦相似度能帮你捞出正确的上下文。
但问题是——
- 分块会在句子中间一刀切断,上下文支离破碎
- 同一段内容可能在 SharePoint、Confluence、邮件、Jira 里各存一份,向量数据库里全是近似重复
- 更致命的是:分块本身不携带任何版本信息、权限级别或来源权威性。一个过期的草稿和最新审批版本,在嵌入模型眼里长得一模一样
当过期内容和最新内容同时被检索为上下文,LLM 没有任何信号来判断该信哪个。于是它把两份矛盾的信息混在一起,开始胡编乱造。
问题不在检索,而在表示。 单元本身就是错的,修复必须发生在检索之前、数据层。
楠哥说:这段话一针见血。很多人在 RAG 上调参、换模型、加 reranker,但根源问题在于:你喂给向量数据库的「食材」本身就是坏的。与其在下游打补丁,不如从数据预处理层重新来过。PART 02
PART 02 Blockify:从数据层重新定义 RAG 的输入
Blockify 是一个开源的数据预处理引擎,专门解决上述问题。
它的定位非常清晰:坐在文档解析器和向量数据库之间,把原始文本转化成一种叫做 IdeaBlock 的结构化知识单元。
一个 IdeaBlock 长这样:
programmers write, debug, and optimize code.
注意几个关键设计:
- critical_question + trusted_answer:每个知识单元自带一个它能回答的问题和经过验证的答案。这和 HyDE(假设文档嵌入)思路异曲同工——让查询嵌入和真实查询在向量空间里更接近
- tags + entity + keywords:携带元数据,支持按版本、权限、来源进行排序,不再只靠相似度
- 语义完整性:每个 IdeaBlock 是一个自包含的知识单元,通常是 2-3 句话,隔离了一个事实或概念
楠哥说:IdeaBlock 的设计哲学是「问答对」而不是「文本段」。这不是偶然——用户查 RAG 系统的方式就是提问。让数据的表示方式匹配查询方式,这才是正道。PART 03
PART 03 两阶段处理管线:Ingest + Distill
Blockify 的处理管线分为两个阶段:
阶段一:Ingest(摄取)
- 上下文感知分块:不是暴力切 512 token,而是找到自然断点——段落边界、章节切换、话题转变
- LLM 结构化提取:每个分块交给一个专用 LLM,提取出 IdeaBlock 格式的结构化知识单元
- 问答对生成:每个单元配对一个情境化的问题和答案,确保查询嵌入更接近真实用户查询
- 元数据标注:自动提取实体名称、实体类型、版本号、权限级别
阶段二:Distill(蒸馏)
这是 Blockify 的精华所在:
- 向量嵌入:为所有 IdeaBlock 生成嵌入向量
- LSH 局部敏感哈希:当数据集超过 50 条时,自动启用 LSH 分桶,将 O(n^2) 的两两比较降低到亚二次复杂度
- 相似度聚类:用余弦相似度找相似对,然后用 Louvain 社区发现算法(大数据集)或 BFS(小数据集)生成非重叠聚类
- LLM 智能合并:每个聚类…