知识库分块不是越小越好——改了分块大小,准确率跳了18%

我做过最蠢的一件事:知识库搭好后,跑了三个月,各种调Prompt、换Embedding模型、加Rerank——准确率一直在70%上下晃。从来没想过改一个参数。
分块大小。
从512改到256,同一批测试问题,准确率跳了18个点。
不是模型的锅。是分块。

一、为什么没人怀疑分块?
因为大多数RAG平台的默认分块大小就是512。LlamaIndex默认512,LangChain默认400-1000,各厂商SaaS平台也差不多。
默认值看起来很合理——一个段落差不多就是500个字。于是所有人都默认接受了。
但这里面藏着一个假设:你的文档,是按500字一段来写的吗?
客服知识库不是。它是这样的:
Q:怎么退保? A:退保流程:1.登录APP→2.我的保单→3.选择要退保的保单→4.点击「退保」按钮→5.填写退保原因→6.确认提交。退保金额按照保单现金价值计算,具体金额以系统显示为准。
这条记录总共不到100个字。用512分块,它会跟前后好几条Q&A挤在同一个小块里。
当客户搜索「退保能退多少钱」,Embedding模型面对的是一个混了退保流程、投保规则、理赔说明的大杂烩。它怎么知道你究竟要什么?
▲ 分块大小的核心洞察
分块大小决定的是「每个检索单元的语义纯度」。 太大了,一个块里混了太多主题;太小了,一个完整的意思被拆得支离破碎。两者都会让检索「跑偏」。

二、512→256:一个实验
我把同一个知识库(1200条客服Q&A)用四种分块大小各建了一遍索引:
分块大小
Top-3命中率
Top-1命中率
平均回复相关度
1024 tokens
61%
38%
2.8/5
512 tokens
71%
47%
3.2/5
256 tokens
89%
68%
4.3/5
128 tokens
82%
59%
3.9/5

测试集:100个真实客户问题,涵盖退保、理赔、投保、续费四类。
▲ 客服Q&A分块实验对比
256是明显的甜点。再小到128,命中率反而下降——因为一条完整的Q&A被切成了两半,检索时只能命中一半。

三、但技术文档是反过来的
同一个实验,我换了…
— 以上为试看内容(约 40%),开通会员后阅读全文 —