Harness 与 Agent 工程 · AI研发与测试工程 · 2026-06-26

Higress v2.2.3 发布:AI Gateway 能力增强,Gateway API 及其推理扩展持续打磨

探索AI Gateway新特性与Gateway API增强,了解如何优化AI推理流量调度与集群安全。

核心内容:

  1. AI Gateway新增vLLM透传与上下文限制插件,强化安全与兼容性
  2. Gateway API实现多网关隔离与版本兼容,提升路由稳定性
  3. Ingress迁移优化与安全加固,减少对现有集群资源的改动

💡 目录 💡

01 AI Gateway:自建模型、长上下文与安全拦截

02 Gateway API:多网关隔离与版本兼容

03 Gateway API 推理扩展:让 AI 推理流量获得更合理的调度

04 Ingress 迁移:尽量减少对既有集群资源的改动

05 安全与稳定性

06 Console:配置增多后的操作体验优化

07 CNCF Sandbox 入驻完成

08 谁应该升级?

09 贡献者

Higress 近期发布了 v2.2.3 版本,主仓库共 48 项更新、Higress Console 8 项更新。核心变化包括:

此外,社区层面 Higress 已正式完成 CNCF Sandbox 入驻。下面按主题展开。

01

AI Gateway:自建模型、长上下文与安全拦截

过去几个版本里,Higress 的 AI Gateway 能力一直围绕一个方向演进:让不同模型服务尽量通过统一入口接入,同时少让业务应用自己处理协议差异。v2.2.3 继续在这条线上做了增补,并修掉了一批协议兼容上的小毛病。

新增与增强

问题修复

02

Gateway API:多网关隔离与版本兼容

Gateway API 正在成为 Kubernetes 入口流量管理的重要标准。它比传统 Ingress 拆得更细:GatewayClass 负责说明谁来管网关,Gateway 负责网关实例,HTTPRoute 等资源负责路由规则。拆得更清楚之后,多团队、多网关、多协议的边界也更容易表达;但标准持续演进,生产环境里也会随之冒出一些现实问题。

新增与增强

问题修复

03

Gateway API 推理扩展:让 AI 推理流量获得更合理的调度

普通 Web 服务做负载均衡,常见依据是权重、连接数、健康状态。AI 推理流量会更复杂一些:不同请求可能命中不同模型,不同副本的 GPU 负载不同,队列长度不同,缓存命中情况也不同。Gateway API Inference Extension 想解决的就是这类问题:让网关在转发 AI 推理请求时,可以结合推理后端的状态做更合适的调度。

本次版本修复了 InferencePool 路由配置在 HTTPRoute 合并时可能丢失的问题(#3964)。当多个推理路由挂在同一个网关和域名下时,Higress 需要正确保留每条路由对应的推理调度配置,不能在合并过程中退回普通负载均衡。

这项能力还在跟随 Gateway API Inference Extension 持续演进,但它代表了 AI Gateway 的一个重要方向:网关不再只是入口,也会逐步…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026062610769.html