知识库分块不是越小越好——改了分块大小,准确率跳了18%
我做过最蠢的一件事:知识库搭好后,跑了三个月,各种调Prompt、换Embedding模型、加Rerank——准确率一直在70%上下晃。从来没想过改一个参数。从512改到256,同一批测试问题,准确率跳了18个点。因为大多数RAG平台的默认分块大小就是512。LlamaIndex默认512,LangChain默认400-1000,各厂商SaaS平台也差不多。默认值看起来很合理——一个段落差不多就是500个字。于是所有人都默认接受了。但这里面藏着一个假设:你的文档,是按500字一段来写的吗?Q:怎么退保? A:退保流程:1.登录APP→2.我的保单→3.选择要退保的保单→4.点击「退保」按钮→5.填写退保原因→6.确认提交。退保金额按照保单现金价值计算,具体金额以系统显示为准。这条记录总共不到100个字。用512分块,它会跟前后好几条Q&A挤在同一个小块里。当客户搜索「退保能退多少钱」,Embedding模型面对的是一个混了退保流程、投保规则、理赔说明的大杂烩。它怎么知道你究竟要什么?分块大小决定的是「每个检索单元的语义纯度」。 太大了,一个块里混了太多主题;太小了,一个完整的意思被拆得支离破碎。两者都会让检索「跑偏」。我把同一个知识库(1200条客服Q&A)用四种分块大小各建了一遍索引:测试集:100个真实客户问题,涵盖退保、理赔、投保、续费四类。256是明显的甜点。再小到128,命中率反而下降——因为一条完整的Q&A被切成了两半,检索时只能命中一半。 — 以上为试看内容(约 40%),开通会员后阅读全文 —