在上一篇刨开源码看门道:dify 数据集的那些事(一),我们了解了dify的数据集架构,在这篇文章中,我们了解下dify内部知识库的整个流转实现。通过该篇,我们能详细的了解到dify数据是如何解析的。
整个流程如下:
- • 知识库(数据集)的创建
- • 知识库的设置
- • 文档的上传
- • 文档解析规则的设置
- • 文档解析
知识库的解析流程
知识库创建
知识库的创建,调用的是console/api/datasets接口
创建完知识库以后,有三个选项
- • 文档:列出所有文档,或上传文档
- • 召回测试:检索
- • 设置:设置知识库的基本信息
文档上传
选择文件,以后,已经通过console/api/files/upload进行了上传。
上传以后,在设置的docker存储目录指定的租户下面。
分片设置
上传完以后,点击下一步进入分片设置页面。在这里
- • 通过接口
console/api/workspaces/current/default-model?model_type=text-embedding不同的model_type 加载了默认embedding模型和rerank 模型 - • 通过接口
console/api/datasets/process-rule加载到了默认处理规则 - • 同时也会把所有的embedding模型和rerank 模型加载到用于选择
保存并处理
点击保存并处理的时候,调用的是/console/api/datasets/5acd7076-8fb4-46ba-833d-89b0196ef918/documents接口,
在这里把数据集和文档都传递到了后端。
最终定位到DatasetDocumentListApi的post方法中。具体代码位置如下:
controllers/console/datasets/datasets_document.py 中的DatasetDocumentListApi.postservices/dataset_service.py 中的DocumentService.save_document_with_dataset_id
代码流程如下:
是否上传文件Notion导入网站爬取DatasetDocumentListApi.post验证用户权限解析请求参数为KnowledgeConfig调用DocumentService.save_document_with_dataset_id检查文档上传配额是否更新现有文档?更新文档并触发索引任务创建新文档处理检查批量上传限制保存处理规则处理不同类型数据源检查文件是否存在验证Notion连接准备爬取任务创建文档记录触发异步索引任务返回文档和批次信息
- • 先对当前用户是否具有资源权限进行判断
- • 计费体系开启,校验配额
- • 创建或更新文档参数,并触发索引任务
关于配额
- • 配额是按租户获取的,一些参数是从配置文件中获取,一些是从配置文件中
BILLING_API_URL中配置的系统中获取的,在这里只限制在企业版中实现 - • 当计费体系开启的时候,会计算上传的额度(数量)已经上传的数量和当前上传的数量做对比
索引方式
- • 经济索引是每个数据库使用10个关键词进行检索
- • 高质量索引,使用向量模型+关键词
在代码里,对高质量索引进行了必要参数的补充。
更新或保持处理规则
这里有近两百行代码来处理不同类型数据源,确保文件和连接的可用。
在这里如果是
upload_file,如果开启了重复文件校验,会拿到当前知识库中第一个文件,进行特殊处理。
异步任务推送
当所有的规则处理完成以后,会把任务通过document_indexing_task.delay(dataset.id, document_ids)推到队列中。
异步解析
在tasks目录下,有一个document_indexing_task.py进行异步解析。整体流程梳理如下:
是否是否是否开始获取数据集信息数据集存在?检查资源限制记录日志并退出通过限制检查?更新文档状态为parsing标记文档为错误状态创建IndexingRunner执行索引处理处理成功?记录处理时间捕获异常并记录记录错误原因结束
- • 首先进行文件是否存在的校验(异步任务,可能中断,也可能用户取消)
- • 开启计费模式以后,对额度进行再次校验(可能并发的问题)
- • 更新状态为解析中
- • 核心逻辑在
IndexingRunner.run中
解析
indexing_runner.py
这里的流程也很清晰,整个用了模板方法+工厂+策略模式实现
-
- 首先对数据集进行校验,不存在,直接终止
-
- 获取处理规则,没有处理规则也直接终止
-
- 根据索引类型
IndexProcessorFactory,获取对应的索引处理器:ParagraphIndexProcessor(通用)、QAIndexProcessor(问答)、ParentChildIndexProcessor(父子分段)
- 根据索引类型
-
- 获取文档内容
_extract,解决了不同文档的差异性
- 获取文档内容
- • 支持三种数据源类型
- • 统一返回Document对象列表
-
• 自动更新处理进度
-
- 转换阶段
_transform
- 转换阶段
- • 执行文本清洗(根据处理规则)
- • 分块处理(自定义或自动分块)
- • 语言处理(国际化支持)
- • 向量化准备(高质量索引模式)
-
- 分段处理
_load_segments
- 分段处理
- • 使用DatasetDocumentStore管理分段
- • 支持父子文档结构
- • 原子化状态更新
-
- 索引构建
_load
- 索引构建
- • 高质量模式:使用嵌入模型并行处理
- • 经济模式:构建关键词倒排索引
- • 状态一致性管理 重点看下5、6、7 这三个阶段。
转换阶段 _transform
转换阶段的核心对应的是ParagraphIndexProcessor(通用)、QAIndexProcessor(问答)、ParentChildIndexProcessor(父子分段) 这三个处理器的transform 方法。
重点分析下普通分段和父子分段。
ParagraphIndexProcessor
- • 在通用分段中,如果不勾选使用
Q&A分段走的是这里 整体逻辑如下:
自动自定义有效无效所有文档处理完成开始验证处理规则规则模式加载自动规则加载自定义规则初始化分块器遍历文档文本清洗执行分块分块后处理生成文档ID和哈希去除引导符号有效内容检查添加到结果集返回结果
- • 在验证处理规则这里,其实是一个兜底策略,正常情况下,如果没有设置,直接使用默认的分段策略
splitter = self._get_splitter( processing_rule_mode=process_rule.get("mode"), max_tokens=rules.segmentation.max_tokens, chunk_overlap=rules.segmentation.chunk_overlap, separator=rules.segmentation.separator, embedding_model_instance=kwargs.get("embedding_model_instance"), )
- • 根据规则参数创建分块器
- • 在
_get_s…