FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2026-06-10

别再傻傻分块了:这个开源引擎让RAG准确率飙升260%

别再在RAG分块上浪费时间了,这个开源引擎从数据源头重构知识单元,让准确率实现质的飞跃。

核心内容:

  1. 传统RAG分块策略的根本缺陷与问题根源
  2. Blockify引擎如何用IdeaBlock重构知识表示
  3. 从数据预处理层解决检索准确性的核心思路

别再傻傻分块了:这个开源引擎让 RAG 准确率飙升 260%

原文作者:@_avichawla(X/Twitter) 编译 + 楠哥解读PART 01

PART 01 传统 RAG 的致命缺陷

先说一个你可能已经隐约感觉到但没有量化过的事实:传统 RAG 管线里的「分块」策略,从根本上就是错的。

大多数 RAG 系统的做法是:把文档切成固定大小的文本块,扔进向量数据库,然后指望余弦相似度能帮你捞出正确的上下文。

但问题是——

当过期内容和最新内容同时被检索为上下文,LLM 没有任何信号来判断该信哪个。于是它把两份矛盾的信息混在一起,开始胡编乱造。

问题不在检索,而在表示。 单元本身就是错的,修复必须发生在检索之前、数据层。

楠哥说:这段话一针见血。很多人在 RAG 上调参、换模型、加 reranker,但根源问题在于:你喂给向量数据库的「食材」本身就是坏的。与其在下游打补丁,不如从数据预处理层重新来过。PART 02

PART 02 Blockify:从数据层重新定义 RAG 的输入

Blockify 是一个开源的数据预处理引擎,专门解决上述问题。

它的定位非常清晰:坐在文档解析器和向量数据库之间,把原始文本转化成一种叫做 IdeaBlock 的结构化知识单元。

一个 IdeaBlock 长这样:

programmers write, debug, and optimize code.

注意几个关键设计:

楠哥说:IdeaBlock 的设计哲学是「问答对」而不是「文本段」。这不是偶然——用户查 RAG 系统的方式就是提问。让数据的表示方式匹配查询方式,这才是正道。PART 03

PART 03 两阶段处理管线:Ingest + Distill

Blockify 的处理管线分为两个阶段:

阶段一:Ingest(摄取)

  1. 上下文感知分块:不是暴力切 512 token,而是找到自然断点——段落边界、章节切换、话题转变
  2. LLM 结构化提取:每个分块交给一个专用 LLM,提取出 IdeaBlock 格式的结构化知识单元
  3. 问答对生成:每个单元配对一个情境化的问题和答案,确保查询嵌入更接近真实用户查询
  4. 元数据标注:自动提取实体名称、实体类型、版本号、权限级别

阶段二:Distill(蒸馏)

这是 Blockify 的精华所在:

  1. 向量嵌入:为所有 IdeaBlock 生成嵌入向量
  2. LSH 局部敏感哈希:当数据集超过 50 条时,自动启用 LSH 分桶,将 O(n^2) 的两两比较降低到亚二次复杂度
  3. 相似度聚类:用余弦相似度找相似对,然后用 Louvain 社区发现算法(大数据集)或 BFS(小数据集)生成非重叠聚类
  4. LLM 智能合并:每个聚类…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026061056801.html