💡 目录 💡
01 dify 应用构建中的模型接入问题
02 Higress 插件上架 Dify 插件市场
03 Higress 插件功能说明
04 实践指南
05 总结与展望
01
Dify 应用构建中的模型接入问题
随着 AI 应用的快速发展,越来越多的开发者选择 Dify 作为 AI 应用构建平台。在实际落地过程中,访问模型往往不只是「调一个 API」这么简单——开发者通常需要对接多个模型供应商,并且在生产环境中面临一系列工程化挑战:
- 多模型管理复杂:即使同一应用、同一场景,为保证效果和可用性,也经常需要对接多家模型。但现有模型插件多为单一供应商,多供应商的接入与切换需用户自行实现。
- 缺乏统一治理:模型调用的流量保护、限流熔断、智能路由、上下文压缩等治理能力,目前暂时没有开箱即用的实现,需要额外的基础设施支撑。
- 细粒度鉴权需求:API Key 在一定程度上保证了访问模型服务的整体安全性,但生产环境中往往还需要更细粒度的访问控制,例如按应用、按调用方区分权限与配额,对不同消费者实施差异化的限流和审计策略。
针对上述问题,Higress AI 网关支持通过统一的 Model API 代理各类模型供应商和自建推理服务,同时提供高可用治理、安全鉴权、可观测性等生产级能力。
此前,我们提供了通过 Dify 的 Open-AI-Compatible 插件对接 Higress AI 网关的方案,但在用户实际使用中,发现依然存在一定局限,包括:仅支持 OpenAI 兼容协议的部分场景,无法覆盖多模态、图片生成等场景,以及非 OpenAI 的其他原生协议;部分模型通过 Higress AI 网关访问存在兼容性问题;消费者鉴权方式单一等等。上述方案在易用性与兼容性上均有一定不足,因此需要面向 Higress 网关的专用模型插件。
02
Higress 插件上架 Dify 插件市场
为了提高 Dify 用户接入和使用 Higress AI 网关的便捷性,Higress 官方推出了 Dify 模型代理插件,目前已正式上架 Dify 插件市场。
开发者在 Dify 插件市场搜索 Higress 即可获取对应插件并安装。
该插件的核心价值在于:让 Dify 与 Higress AI 网关简易联动,用户在 Dify 中只需配置网关路由、协议和鉴权方式等,即可便捷通过 Higress AI 网关访问模型服务,同时配置并使用网关所提供的丰富能力。
通过这种方式,Dify 负责 AI 应用的编排与构建,Higress 负责模型流量的代理与管理,各司其职。
该插件同时适用于开源自建 Higress 和阿里云云原生 AI 网关(商业版)。
03
Higress 插件功能说明
目前,Higress 模型插件支持访问以下场景和协议的 Higress Model API,并且均支持开启 API Key 和 HMAC (AK/SK) 的鉴权方式。
| 支持场景 | 支持协议 | 支持鉴权方式 |
|---|---|---|
| 文本生成 | OpenAI 兼容 | API Key 、HMAC |
| 图片生成 | 阿里云百炼图片生成 | API Key 、HMAC |
| 向量嵌入 | OpenAI 兼容 | API Key 、HMAC |
| 文本排序 | 阿里云百炼文本排序 | API Key 、HMAC |
针对文本生成场景,插件支持思考模式、工具调用、流式调用、结构化输出等能力配置;同时支持温度、Top P 等多项采样与生成参数的可配置,满足用户对模型调用的丰富自定义需求。
此外,Higress 插件正在持续建设和迭代中,如果您有任何兴趣和需求,可以访问:https://gith…