Harness 与 Agent 工程 · Agent架构与协作 · 2026-07-20

Dify近三个月技术演进分析——从应用工具到AI基础设施

探索Dify如何通过RAG架构升级,从应用工具进化为AI基础设施,重新定义企业级知识管理。

核心内容:

  1. 多模态嵌入层如何扩展感知通道,实现图文跨模态检索
  2. Summary Index如何通过双层索引结构解决语义完整性问题
  3. 对Excel等结构化文档的媒体感知支持如何满足企业级需求

一、Dify的RAG架构:从"分块+向量"到多层语义检索

Dify的RAG在三个月内完成了三层叠加。从架构层面看,每一次升级都不是简单的"加个功能",而是在检索管道的特定环节插入了新的处理层。

多模态嵌入层:感知通道的扩展

传统RAG只处理文本,图片要么被丢弃,要么单独存成一个附件字段,检索时跟文本完全割裂。Dify v1.11.0的改动是:在文档预处理阶段,用独立的图片提取器(支持Markdown内嵌图片、PDF扫描截图等格式)把图片分离出来,不走文本分块管道,而是直接走多模态embedding模型编码。文本块和图片向量分别入库,检索时做跨模态融合排序。这里的工程细节值得注意:图片提取不是无差别的全量转码。Dify设置了单张≤2MB的阈值,超过的跳过——图片质量直接影响embedding效果,过大的图即便勉强塞进去也是噪声。同时在入库时保留了图片与原文片段的位置对应关系,不是简单把所有图片堆到一个池子里。这样在后续检索时,返回结果能精确定位到"哪张图对应哪个段落"。从检索架构的角度看,这就是在向量库内部做了模态路由——文本走text-embedding通道,图片走multimodal-embedding通道,两条通道平行写入,检索时做加权融合。相比"把图片转成文字描述再检索"的方案,这种架构的好处是保留了视觉信息本身,不会因为"转述"丢失细节。

Summary Index:语义摘要层的引入

v1.12.0的Summary Index是三层架构中最有意思的改动。它解决的问题是:向量检索擅长词义匹配,但不擅长"理解文章在说什么"。分块+向量的模式有一个根本性矛盾:块分大了,检索精度下降;块分小了,语义完整性丢失。长段落检索更是老大难——一段500字的文本,向量可能只有几KB的embedding,压缩比决定了语义信息的丢失程度。Dify的解法是在向量索引之上再加一层摘要索引。对每个文档块,先生成AI摘要,摘要走独立的embedding。检索时先命中文摘向量(第一层粗筛),再命中原文向量(第二层精排),最后把摘要+原文全文喂给LLM。从检索管线角度看,这就是从单层索引变成了两层索引结构。代价是写入时增加一次LLM调用(摘要生成),但召回质量的提升是可测量的。场景是概括性问答时,摘要层能快速定位相关段落,原文层保证答案的精确性。

Excel内嵌图片:结构化文档的媒体感知

v1.15.0的Excel内嵌图片提取,本质上是在多模态感知通道里增加了对结构化文档的支持。Excel不同于PDF/Markdown——它的数据结构是网格化的,图片可能嵌入在单元格内、也可能浮动在工作表上。Dify需要解析xlsx的底层XML结构才能正确提取这些内嵌媒体。对于企业RAG来说这很关键。大量运营数据、报表、KPI看板都存在于Excel文件里,而Excel中的图表截图往往承载了最重要的决策信息。Dify填补了一个实际的空白。

多模态embedding层 + 摘要语义层 + 结构化文档解析层 — 三层叠加构成多层语义检索架构从架构层面总结这条进化线:文本分块层 → 多模态embedding层 → 摘要语义层 → 结构化文档解析层。三个版本,每层解决一个不同的问题。不是简单的堆功能,是在检索管线里一层一层填实。

二、工作流引擎:GraphEngine落地与执行模型的根本改变

HITL(Human-in-the-Loop)在v1.13.0上线,但我认为更值得关注的是背后GraphEngine的引入。

工作流执行模型:从线到图

早期的Dify工作流本质上是一个DAG(有向无环图),执行引擎按拓扑序逐节点推进。这在"串行调用+简单并行"的场景下够用。但当HITL出现,执行模型需要处理"暂停→等待人工→恢复"这个状态转换时,简单的拓扑序遍历就不够了。GraphEngine的核心改进在于:工作流的状态管理从"节点级"下沉到了"边级"。每一个连接(边)都可以携带状态信息(已执行/等待/跳过/失败)。HITL节点暂停时,上游边标记为completed,下游边标记为blocked,等待输入节点唤醒后才…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/dify/2026072016403.html