FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2025-12-25

Dify v1.11.0:知识库支持多模态检索

Dify v1.11.0 突破性实现多模态知识检索,让AI真正看懂图文内容,企业文档处理迎来全新升级。

核心内容:

  1. 统一语义空间技术实现图文跨模态检索
  2. 支持主流云厂商与开源生态的多模态模型
  3. 完整RAG路径实现从"语义匹配"到"图片理解"的进化

翻开任何一份企业文档,你会发现知识从来不只是文字。产品说明书中有实拍图,技术报告附带架构图,各类培训手册和操作指南也包含大量截图。这些视觉内容承载的信息量往往不亚于文字本身。

尽管多模态 Embedding 能力早已出现,真正将其落地到知识库产品中的方案并不多见。企业要么自行构建复杂的跨模态处理链路,将图片与文本分开处理后再尝试融合;要么暂时搁置图片,仅依赖文本检索。两种方式都有明显局限。

现在,dify 知识库正式支持多模态能力。文本与图片能够被统一理解、共同检索,并直接用于 Workflow 应用的构建。AI Agent 从知识库获取的上下文不再局限于文字,而是可以看见图片内容、理解其中的信息,并据此作出回答。

核心突破:统一语义空间

从 Dify v1.11.0 开始,我们引入统一语义空间的多模态向量,让图片和文本 Embedding 具有共同的语义坐标体系,使得“以图搜文、以文搜图、以图搜图”成为现实,提升用户检索准确度。

从“语义匹配”到“图片理解”

技术价值

为什么 RAG 离不开 Embedding 与 Rerank 的协同?

在广义的 RAG 架构中,信息历经“切片-索引-召回-重排-生成”的完整路径后,实现了从散落文档到精准信息流的转化,这一过程体现了 RAG 的本质:信息的精准筛选与深度…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/dify/2025122535862.html