ACK Gateway with Inference Extension组件介绍和变更记录_容器服务 Kubernetes 版 ACK(ACK)-阿里云帮助中心

ACK Gateway with Inference Extension组件是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，支持Kubernetes四层/七层路由服务，并提供面向Inference大语言模型（LLM）推理场景的智能负载均衡能力。本文介绍ACK Gateway with Inference Extension组件的信息、使用说明和变更记录。

组件信息

ACK Gateway with Inference Extension组件基于Envoy Gateway项目构建，兼容Gateway API功能，集成了Gateway API提供的推理扩展。主要用于提供LLM推理服务的负载均衡和路由功能。

使用说明

ACK Gateway with Inference Extension组件的安装和使用依赖于Gateway API组件提供的CRD，安装前请确保集群中已经安装Gateway API组件。具体操作，请参见安装组件。

说明

ACK Gateway with Inference Extension目前仅对白名单用户开放。如果您在控制台的组件管理页面找不到该组件，请提交工单申请。

变更记录

2025年03月

版本号	变更时间	变更内容	变更影响

版本号	变更时间	变更内容	变更影响
v1.3.0-aliyun.1	2025年03月12日	支持 Gateway API v1.2。支持 Inference Extension，提供面向 Inference 大语言模型（LLM）推理场景的智能负载均衡能力。	此次升级不会对业务造成影响。