FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2025-08-19

【万字长文】Dify 知识库全链路图解:7 个关键节点,彻底拆解 RAG 黑盒

深入解析Dify知识库的7个关键节点,带你彻底拆解RAG黑盒的实现原理。

核心内容:

  1. 知识库创建与文档上传的完整流程
  2. 文档解析规则设置与处理机制
  3. 后端API调用与索引任务的触发过程

在上一篇刨开源码看门道:dify 数据集的那些事(一),我们了解了dify的数据集架构,在这篇文章中,我们了解下dify内部知识库的整个流转实现。通过该篇,我们能详细的了解到dify数据是如何解析的。

整个流程如下:

知识库的解析流程

知识库创建

知识库的创建,调用的是console/api/datasets接口

创建完知识库以后,有三个选项

文档上传

选择文件,以后,已经通过console/api/files/upload进行了上传。

上传以后,在设置的docker存储目录指定的租户下面。

分片设置

上传完以后,点击下一步进入分片设置页面。在这里

保存并处理

点击保存并处理的时候,调用的是/console/api/datasets/5acd7076-8fb4-46ba-833d-89b0196ef918/documents接口,

在这里把数据集和文档都传递到了后端。

最终定位到DatasetDocumentListApi的post方法中。具体代码位置如下:

controllers/console/datasets/datasets_document.py 中的DatasetDocumentListApi.postservices/dataset_service.py 中的DocumentService.save_document_with_dataset_id

代码流程如下:

是否上传文件Notion导入网站爬取DatasetDocumentListApi.post验证用户权限解析请求参数为KnowledgeConfig调用DocumentService.save_document_with_dataset_id检查文档上传配额是否更新现有文档?更新文档并触发索引任务创建新文档处理检查批量上传限制保存处理规则处理不同类型数据源检查文件是否存在验证Notion连接准备爬取任务创建文档记录触发异步索引任务返回文档和批次信息

关于配额

索引方式

在代码里,对高质量索引进行了必要参数的补充。

更新或保持处理规则

这里有近两百行代码来处理不同类型数据源,确保文件和连接的可用。

在这里如果是upload_file,如果开启了重复文件校验,会拿到当前知识库中第一个文件,进行特殊处理。

异步任务推送

当所有的规则处理完成以后,会把任务通过document_indexing_task.delay(dataset.id, document_ids)推到队列中。

异步解析

在tasks目录下,有一个document_indexing_task.py进行异步解析。整体流程梳理如下:

是否是否是否开始获取数据集信息数据集存在?检查资源限制记录日志并退出通过限制检查?更新文档状态为parsing标记文档为错误状态创建IndexingRunner执行索引处理处理成功?记录处理时间捕获异常并记录记录错误原因结束

解析

indexing_runner.py

这里的流程也很清晰,整个用了模板方法+工厂+策略模式实现

    1. 首先对数据集进行校验,不存在,直接终止
    1. 获取处理规则,没有处理规则也直接终止
    1. 根据索引类型IndexProcessorFactory,获取对应的索引处理器: ParagraphIndexProcessor(通用)、QAIndexProcessor(问答)、ParentChildIndexProcessor(父子分段)
    1. 获取文档内容_extract,解决了不同文档的差异性

转换阶段 _transform

转换阶段的核心对应的是ParagraphIndexProcessor(通用)、QAIndexProcessor(问答)、ParentChildIndexProcessor(父子分段) 这三个处理器的transform 方法。 重点分析下普通分段和父子分段。

ParagraphIndexProcessor

自动自定义有效无效所有文档处理完成开始验证处理规则规则模式加载自动规则加载自定义规则初始化分块器遍历文档文本清洗执行分块分块后处理生成文档ID和哈希去除引导符号有效内容检查添加到结果集返回结果
splitter = self._get_splitter( processing_rule_mode=process_rule.get("mode"), max_tokens=rules.segmentation.max_tokens, chunk_overlap=rules.segmentation.chunk_overlap, separator=rules.segmentation.separator, embedding_model_instance=kwargs.get("embedding_model_instance"), )
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/dify/2025081998206.html