荐语:
dify 现已全面兼容 MySQL 作为元数据存储。
感谢 OceanBase 开源团队与顺丰 AI 技术平台组在兼容性适配和能力验证上的通力协作,我们一同向更稳定、更一致、更易用的 AI 应用基础设施方向努力。
Dify v1.10.1 于日前发布,新增基于 OceanBase 一体化数据库及 OceanBase AI 原生数据库 seekdb简化 Agentic RAG 部署。
- 挑战: 传统的 Agentic RAG 依赖关系型数据库 + 向量数据库 + 全文检索多个异构组件,导致运维复杂、数据同步困难、一致性风险高。
- 开源成果:Dify 团队、顺丰 AI 技术平台组和 OceanBase 开源团队多方共同努力,Dify 正式兼容 MySQL 作为元数据存储,极大地便利了广大的 MySQL 技术栈用户。
- 一体化及 AI 原生数据库:引入 OceanBase 及 seekdb 利用其分布式数据库和 AI 原生能力,将业务元数据、语义向量和全文索引统一存储检索,实现数据层彻底精简,确保事务一致性,极大简化运维负担。
- 体验路径:推荐通过 OceanBase 开源的轻量嵌入式 seekdb 快速体验 AI 原生部署的优势,教程附后。
前言,AI 应用的冰山之下
当下,大模型、Agentic RAG 和 Agent 等 AI 前沿技术几乎吸引了所有目光。但无论是在测试环境还是生产环境,绝大多数团队在真正落地 AI 应用时,都会撞上一块“看不见的冰山”:底层数据架构过于复杂。
对于 Dify 这样的 LLM 应用开发平台而言,要实现 RAG 检索、知识库管理和 Agent 工作流等核心功能,传统路径上依赖多个异构数据组件,构成一个复杂的“分布式数据库集群”。
在典型实践中,为了支撑测试环境和生产环境的稳定运行,你往往需要同时管理和协调以下几大组件:
- 关系型数据库,主要用于存储用户、应用配置、Agent 任务状态、知识库文档的元数据,这些是强事务性、结构化的业务数据。
- 向量数据库,负责存储 Context Chunks 经过 Embedding Model 向量化后的高维向量。这是实现语义搜索的基础,让 Agent 能理解文本的深层含义。
- 全文检索,负责构建知识库内容的倒排索引,以支持基于关键词的稀疏检索。这保证了用户或 Agent 能进行精确的文本匹配或模糊搜索。
这些组件各自在其领域内都是成熟、专业的产品方案。但一旦被组合成一个应用的数据层,随之而来的就是巨大的运维压力和成本。你需要为每套系统独立管理备份、升级、监控。任何一个环节出问题,都可能导致整个 Agentic RAG 链路的全局性故障。系统越复杂,人力投入就越大,风险越高。
Dify 的核心价值是让 AI 应用开发“化繁为简”。但复杂的数据库架构恰恰与这个目标相悖。
为什么三种数据形态缺一不可?
Agentic RAG 的核心在于赋予 Agent 利用外部知识库的能力,使其能够通过检索( Retrieval )来获取准确、相关的上下文(Context),从而增强其推理和响应的可靠性,降低 AI 幻觉。
一个高质量的 Agentic RAG 系统,其 Retrieval 阶段需要处理三种不同的数据形态:
- 业务元数据: 结构化数据,用于记录文档的基本信息、权限和应用配置,具备严格的事务安全能力。
- 语义向量:用于密集检索,通过向量匹配实现语义和概念上的相似性查找。这是 Agent 理解上下文的关键。
- 词法索引:用于稀疏检索,通过关键词匹配进行精确的文本查找。
为什么三种数据形态缺一不可?
因为一个智能体要应对各种查询场景,需要全方位的检索能力。单纯的语义检索(Dense Retrieval) 擅长理解意图和概念关联,但遇到专有名词、特定 ID、精确短语或不常见关键词时,效果可能不如关键词匹配。而关键词检索(Sparse Retrieval) 恰好能弥补这个不足,确保对精确信息的快速召回。
因此,为了实现最佳的召回率和相关性,现代 Agentic RAG 都在向混合搜索(Hybrid Search)演进:同时执行语义和关键词两种检索,再通过过专业的 Re-ranking 模…