如何用用 Parent-Child 分割提升问答系统的准确性?
一、背景介绍
1. 文档检索系统的现状与痛点
文档长度过长:现代文档往往包含大量信息,例如企业的内部报告、法律文书、科研论文等。如果直接将长文档嵌入到向量空间中进行检索,容易出现信息冗余,甚至降低检索的效率和精度。
检索精度不高:许多文档检索系统在面对较长的文档时难以精准匹配用户的查询。这种情况下,用户的查询结果往往与其期望值有偏差,尤其是在查询较短且具体时,直接检索长文档难以提供理想的答案。
上下文连贯性差:为了提高检索精度,系统可能会将文档细分为更小的块。然而,这种做法往往会牺牲上下文的连贯性,导致用户在获得片段化信息时无法完整理解文档的内容。
二、技术原理
1. 文档分割
Parent Chunks 分割:首先,将文档分割成较大的文本块,称为 Parent Chunks。每个 Parent Chunk 代表文档中的一个较大部分,通常包含多个段落或章节,大小可根据需求进行调整,常见设定为 2000 个字符左右。通过这样的分割,系统能够在保证上下文连贯性的同时,保持信息的整体性。
Child Chunks 分割:每个 Parent Chunk 进一步细分为更小的块,称为 Child Chunks。每个 Child Chunk 通常包含一个段落或几句话,大小同样可以根据需求设定,一般为 400 个字符。这一分割方式既能保留 Parent Chunk 的上下文关系,又能提高检索的精度。
2. 向量嵌入
Child Chunks 嵌入:使用预训练的模型(例如 BERT、GPT 等)将每个 Child Chunk 转换为向量。这些向量代表了文本块的语义信息,可以通过向量检索算法来进行比对和匹配。
保持关联关系:Child Chunks 与其对应的 Parent Chunk 保持关联,在后续的检索过程中可以对 Parent Chunk 进行合并,确保用户获取的信息上下文连贯。这种多层次分割结构不仅提高了检索的精度,还能保持文档整体的连贯性。
3. 检索过程
Query 嵌入:用户的查询被转换为向量形式,并与存储在数据库中的 Child Chunk 向量进行匹配。
Child Chunks 搜索:在向量数据库中搜索与查询向量相似的 Child Chunks。通过这种方式,系统能够精准匹配用户的查询,尤其是在短查询的情况下,Child Chunk 的检索精度更高。
Parent Chunks 确定:根据检索到的 Child Chunks,系统可以快速定位这些子块所属的 Parent Chunks,确保用户能够获得与查询上下文相关的完整信息。
4. 结果合并
合并 Parent Chunk…