通过Annotation配置传统型负载均衡CLB

为实现丰富的负载均衡功能,您可以通过Service YAML文件中的Annotation(注解)对CLB、监听和后端服务器组三种资源维度进行配置操作。

索引

主要内容

跳转链接

注解使用说明

CLB的典型操作

监听的典型操作

后端服务器组的典型操作

相关文档

注解使用说明

  • 注解的内容区分大小写。

  • 使用注解前请先在本文中查看该功能支持的CCM组件版本。如需升级CCM组件,请参见管理组件。关于CCM的组件变更记录,请参见Cloud Controller Manager

  • 自2019年09月11日起,annotations字段alicloud更新为alibaba-cloud

    例如:

    更新前:service.beta.kubernetes.io/alicloud-loadbalancer-id

    更新后:service.beta.kubernetes.io/alibaba-cloud-loadbalancer-id

    系统将继续兼容alicloud的写法,您无需做任何修改。

CLB的典型操作

创建一个公网类型的负载均衡

apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建一个私网类型的负载均衡

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type

描述

默认值

支持的CCM版本

指定负载均衡为私网类型。取值:

  • internet:服务通过公网访问,此为默认值。对应CLB的地址类型必须为公网

  • intranet:服务通过私网访问。对应CLB的地址类型必须为私网

internet

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type: "intranet"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

指定负载均衡规格

Annotation:多个,如下表所示。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-instance-charge-type

实例计费方式。取值:

  • PayBySpec:默认值,按规格计费。

  • PayByCLCU:按使用量计费。

重要

按使用量计费的负载均衡不支持设置规格。即取值PayByCLCUservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec不可同时存在。

PayBySpec

v2.4.0及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec

负载均衡实例的规格。通过该参数可以创建指定规格的CLB,或者更新已有CLB的规格。 取值:

  • slb.s1.small

  • slb.s2.small

  • slb.s2.medium

  • slb.s3.small

  • slb.s3.medium

  • slb.s3.large

关于该选项的更多取值,请参见CreateLoadBalancer

重要

如果您通过CLB控制台修改CLB规格(仅支持修改按规格计费的负载均衡实例),可能会被CCM修改回原规格,请谨慎操作。

slb.s1.small

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-instance-charge-type: "PayBySpec"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s1.small"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

使用已有的负载均衡

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-id

描述

默认值

支持的CCM版本

负载均衡实例的ID。通过此Annotation指定已有的CLB。

  • 默认情况下,使用已有的负载均衡实例不会覆盖监听,如果要强制覆盖已有监听,请配置service.beta.kubernetes.io/alibaba-cloud-loadbalancer-force-override-listeners"true"。该配置仅会覆盖当前Service的监听,对其他监听没有影响。

    说明

    复用已有的负载均衡默认不会覆盖已有的监听,有以下两点原因:

    • 如果已有负载均衡的监听上绑定了业务,强制覆盖可能会引发业务中断。

    • 由于CCM目前支持的后端配置有限,无法处理一些复杂配置。如有复杂的后端配置需求,可以在不覆盖监听的情况下,通过控制台自行配置监听。

    考虑到以上两种情况,不建议您强制覆盖监听。如果已有负载均衡的监听端口不再使用,则可以强制覆盖。

  • (v2.10.0以下版本)使用已有的负载均衡时,暂不支持添加额外标签(annotation: service.beta.kubernetes.io/alibaba-cloud-loadbalancer-additional-resource-tags)。

v1.9.3.81-gca19cd4-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-id: "${YOUR_LOADBALANCER_ID}" # 不支持配置多个策略组。
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

使用已有的负载均衡,并强制覆盖已有监听

Annotation:多个,如下表所示。强制覆盖已有监听,如果监听端口冲突,则会删除已有监听。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-id

负载均衡实例的ID。通过此Annotation指定已有的CLB。

  • 默认情况下,使用已有的负载均衡实例不会覆盖监听,如需强制覆盖已有监听,请配置service.beta.kubernetes.io/alibaba-cloud-loadbalancer-force-override-listeners"true"。该配置仅会覆盖当前Service的监听,对其他监听没有影响。

    说明

    复用已有的负载均衡默认不会覆盖已有的监听,有以下两点原因:

    • 如果已有负载均衡的监听上绑定了业务,强制覆盖可能会引发业务中断。

    • 由于CCM目前支持的后端配置有限,无法处理一些复杂配置。如有复杂的后端配置需求,可以在不覆盖监听的情况下,通过控制台自行配置监听。

    考虑到以上两种情况,不建议您强制覆盖监听。如果已有负载均衡的监听端口不再使用,则可以强制覆盖。

  • (v2.10.0以下版本)使用已有的负载均衡时,暂不支持添加额外标签(annotation: service.beta.kubernetes.io/alibaba-cloud-loadbalancer-additional-resource-tags)。

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-force-override-listeners

绑定已有负载均衡时,是否强制覆盖该CLB的监听。取值:

  • "true":覆盖。仅会覆盖当前Service的监听,对其他监听没有影响。

  • "false":不覆盖。

重要

复用已有CLB且设置force-override"true"时,请勿多个Service复用同一个CLB的同一个监听,否则会导致监听配置冲突。

"false"

v1.9.3.81-gca19cd4-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-id: "${YOUR_LOADBALANCER_ID}"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-force-override-listeners: "true"
    
    
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

创建负载均衡时,指定主备可用区

Annotation:多个,如下表所示。一旦创建,主备可用区不支持修改。

某些地域的负载均衡不支持主备可用区,请以CLB创建页面为准。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-master-zoneid

主后端服务器的可用区ID。

v1.9.3.10-gfb99107-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-slave-zoneid

备份后端服务器的可用区ID。

v1.9.3.10-gfb99107-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-master-zoneid: "cn-hangzhou-k"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-slave-zoneid: "cn-hangzhou-j"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建按带宽付费的负载均衡

Annotation:多个,如下表所示。以下两项Annotation必选。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-charge-type

负载均衡实例的计费方式。取值:

  • paybytraffic

  • paybybandwidth

paybytraffic

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-bandwidth

负载均衡的带宽,为带宽峰值。仅适用于公网类型的负载均衡。其他限制,请参见修改公网负载均衡实例的计费方式

50

v1.9.3.10-gfb99107-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-charge-type: "paybybandwidth"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-bandwidth: "2"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

为负载均衡指定虚拟交换机

Annotation:多个,如下表所示。以下两项Annotation必选。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type

指定负载均衡为私网类型。取值:

  • internet:服务通过公网访问,此为默认值。对应CLB的地址类型必须为公网

  • intranet:服务通过私网访问。对应CLB的地址类型必须为私网

internet

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-vswitch-id

负载均衡实例所属的VSwitch ID,虚拟交换机必须与Kubernetes集群属于同一个VPC。

设置该参数时,需同时设置service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type"intranet"

可以登录专有网络管理控制台查询交换机ID。

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
   service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type: "intranet"
   service.beta.kubernetes.io/alibaba-cloud-loadbalancer-vswitch-id: "${YOUR_VSWITCH_ID}"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

为私网负载均衡指定IP地址

Annotation:多个,如下表所示。以下三项Annotation必选。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type

指定负载均衡为私网类型。取值:

  • internet:服务通过公网访问,此为默认值。对应CLB的地址类型必须为公网

  • intranet:服务通过私网访问。对应CLB的地址类型必须为私网

internet

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-vswitch-id

负载均衡实例所属的VSwitch ID,虚拟交换机必须与Kubernetes集群属于同一个VPC。

设置该参数时,需同时设置service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type为intranet。

可以登录专有网络管理控制台查询交换机ID。

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-ip

私网负载均衡实例的IP。

  • 该IP地址必须包含在交换机的目标网段下,仅支持IPv4地址,且需要与service.beta.kubernetes.io/alibaba-cloud-loadbalancer-vswitch-id一起使用。

  • IP地址创建后不支持更改。

v2.7.0及以上版本

apiVersion: v1
kind: Service
metadata:
 annotations:
  service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type: "intranet"
  service.beta.kubernetes.io/alibaba-cloud-loadbalancer-vswitch-id: "${YOUR_VSWITCH_ID}"
  service.beta.kubernetes.io/alibaba-cloud-loadbalancer-ip: "192.168.x.x"
 name: nginx
 namespace: default
spec:
 type: LoadBalancer
 ports:
 - port: 80
   targetPort: 80
   name: http
 selector:
   app: nginx

为负载均衡添加额外标签

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-additional-resource-tags

描述

默认值

支持的CCM版本

需要添加的Tag列表。多个标签用英文半角逗号(,)分隔,例如"k1=v1,k2=v2"。v2.10.0及以上版本支持对已创建实例和复用实例的标签进行修改。

重要

在Service上添加该注解指定额外标签后,在控制台上对对应负载均衡实例标签进行的额外修改操作存在被覆盖的风险。

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-additional-resource-tags: "Key1=Value1,Key2=Value2" 
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建IPv6类型的负载均衡

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-ip-version

描述

默认值

支持的CCM版本

负载均衡实例的IP版本,创建后IP类型不可更改。使用时,集群的kube-proxy代理模式需为IPVS。取值:

  • ipv4:IPv4类型。

  • ipv6:IPv6类型。生成的IPv6地址仅可在支持IPv6的环境中访问。

ipv4

v1.9.3.220-g24b1885-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-ip-version: "ipv6"
  name: nginx
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

为负载均衡开启删除保护

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-delete-protection

描述

默认值

支持的CCM版本

负载均衡删除保护。取值:

  • on

  • off

重要

对于LoadBalancer类型的Service创建的负载均衡,如果手动在CLB控制台开启了删除保护,仍可通过kubectl delete svc {your-svc-name}的方式删除Service关联的负载均衡。

on

v1.9.3.313-g748f81e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-delete-protection: "on"
  name: nginx
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

为负载均衡开启配置修改保护

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-modification-protection

描述

默认值

支持的CCM版本

负载均衡配置修改保护。取值:

  • ConsoleProtection

  • NonProtection

ConsoleProtection

v1.9.3.313-g748f81e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-modification-protection: "ConsoleProtection"
  name: nginx
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

指定负载均衡名称

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-name

描述

默认值

支持的CCM版本

负载均衡实例名称。长度为2~128个英文或中文字符,必须以大小写字母或中文开头,可包含数字、半角句号(.)、下划线(_)和短划线(-)。

v1.9.3.313-g748f81e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-name: "your-svc-name"
  name: nginx
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

指定负载均衡所属的资源组

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-resource-group-id

描述

默认值

支持的CCM版本

负载均衡所属资源组ID,资源组ID指定后不可被修改。可在阿里云资源管理平台查询资源组ID。

v1.9.3.313-g748f81e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-resource-group-id: "rg-xxxx"
  name: nginx
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

为Service设置Hostname

Annotation:多个,如下表所示。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-hostname

为Service设置Hostname。Hostname需要符合DNS命名规则。

有如下注意事项:

  • 添加该Annotation后,Service的EXTERNAL-IP将会从默认的CLB IP更改为your_service_name。在集群中访问CLB IP时,流量将会绕行CLB再转发至集群中。

  • 添加该Annotation后,如果监听协议为TCP或UDP,集群内访问CLB IP时将会存在回环访问问题。详细信息,请参见客户端无法访问负载均衡CLB

  • 添加该Annotation不会自动绑定CLB与域名。如需进行绑定,请至域名服务页面购买域名并自行绑定CLB。购买域名,请参见购买域名

v2.3.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-hostname: "${your_service_hostname}"
  name: nginx-svc
  namespace: default
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

预期输出:

NAME         TYPE           CLUSTER-IP       EXTERNAL-IP            PORT(S)                      AGE
nginx-svc    loadBalancer   47.100.XX.XX     www.example.com        80:30248/TCP,443:32670/TCP   10s

创建一个按使用量计费的负载均衡

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-instance-charge-type

描述

默认值

支持的CCM版本

实例计费方式。取值:

  • PayBySpec:默认值,按规格计费。

  • PayByCLCU:按使用量计费。

重要

按使用量计费的负载均衡不支持设置规格。即取值PayByCLCUservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec不可同时存在。

PayBySpec

v2.4.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-instance-charge-type: "PayByCLCU"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

删除Service时保留自动创建的负载均衡实例

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-preserve-lb-on-delete

描述

默认值

支持的CCM版本

在删除LoadBalancer类型Service时,保留通过Service创建的CLB实例,并将CLB实例上的kubernetes.do.not.deleteack.aliyun.com标签删除。虚拟服务器组内的已有的服务器将得到保留。

该能力开启时,会在Service同步时产生类型为PreservedOnDelete的Warning事件。配置该Annotation后,推荐检查该事件是否存在,进一步确认能力已成功开启。

取值:

  • 不为空:启用保留能力。

  • 值为空或不设置:不启用保留能力。

重要

请通过删除Service而不是修改Service类型的方式进行该操作,否则可能会导致Service被错误地重新关联到先前保留的CLB上。

v2.10.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-preserve-lb-on-delete: "true"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

监听的典型操作

为TCP类型的负载均衡配置会话保持时间

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-persistence-timeout

描述

默认值

支持的CCM版本

会话保持时间。仅针对TCP协议的监听。如果负载均衡实例配置了多个TCP协议的监听端口,则默认将该配置应用到所有TCP协议的监听端口。

单位:秒。取值[0, 3600]。默认值为0,即会话保持关闭。更多信息,请参见CreateLoadBalancerTCPListener

0

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-persistence-timeout: "1800"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

为HTTP和HTTPS协议的监听配置会话保持(insert cookie)

Annotation:多个,如下表所示。insert cookie时,以下四项Annotation必选。

  • 仅支持HTTP及HTTPS协议的负载均衡实例。

  • 如果配置了多个HTTP或者HTTPS的监听端口,该会话保持默认应用到所有HTTP和HTTPS监听端口。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session

是否开启会话保持。仅对HTTP和HTTPS协议的监听生效。取值:

  • on

  • off

更多信息,请参见:CreateLoadBalancerHTTPListenerCreateLoadBalancerHTTPSListener

off

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session-type

cookie的处理方式。仅对HTTP和HTTPS协议的监听生效。当service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session取值为on时,该参数必选。取值:

  • insert:植入Cookie。

  • server:重写Cookie。

更多信息,请参见CreateLoadBalancerHTTPListenerCreateLoadBalancerHTTPSListener

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cookie-timeout

Cookie超时时间。当service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-sessiononservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session-typeinsert时,该参数必选。单位:秒。取值范围为[1, 86400]。

更多信息,请参见:CreateLoadBalancerHTTPListenerCreateLoadBalancerHTTPSListener

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cookie

服务器上配置的Cookie名称。

长度为1~200个字符,只能包含 ASCII 英文字母和数字字符,不能包含半角逗号(,)、半角分号(;)或空格,也不能以美元符号($)开头。

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-sessiononservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session-typeserver时,该参数必选。

更多信息,请参见CreateLoadBalancerHTTPListenerCreateLoadBalancerHTTPSListener

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-sticky-session-type: "insert"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cookie-timeout: "1800"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为负载均衡配置访问控制策略组

Annotation:多个,如下表所示。以下三项Annotation必选。

使用此Annotation创建带有访问控制的负载均衡前,需先在传统型负载均衡CLB控制台上创建一个负载均衡访问控制策略组,记录该访问控制策略组ID(acl-id)。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status

是否开启访问控制功能。取值:

  • on

  • off

off

v1.9.3.164-g2105d2e-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id

监听绑定的访问策略组ID。当service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status取值为"on"时,该参数必选。

v1.9.3.164-g2105d2e-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type

访问控制类型。取值:

  • white:仅转发来自所选访问控制策略组中设置的IP地址或地址段的请求。白名单适用于应用只允许特定IP访问的场景。设置白名单存在一定业务风险。一旦设名单,就只有白名单中的IP可以访问负载均衡监听。如果开启了白名单访问,但访问策略组中没有添加任何IP,则负载均衡监听会转发全部请求。

  • black:来自所选访问控制策略组中设置的IP地址或地址段的所有请求都不会转发。黑名单适用于应用只限制某些特定IP访问的场景。如果开启了黑名单访问,但访问策略组中没有添加任何IP,则负载均衡监听会转发全部请求。当AclStatus参数的值为on时,该参数必选。

v1.9.3.164-g2105d2e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: "${YOUR_ACL_ID}"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

为负载均衡指定转发端口

端口转发是指将HTTP端口的请求转发到HTTPS端口。

Annotation:多个,如下表所示。以下三项Annotation必选。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id

阿里云上的证书ID。

请登录CLB控制台,在证书管理页面查看证书ID。

说明

如需创建证书,请参见选择阿里云签发证书

v1.9.3.164-g2105d2e-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-forward-port

将HTTP请求转发至HTTPS指定端口,例如80:443

v1.9.3.164-g2105d2e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "https:443,http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id: "${YOUR_CERT_ID}"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-forward-port: "80:443"
  name: nginx
  namespace: default
spec:
  ports:
  - name: https
    port: 443
    protocol: TCP
    targetPort: 80
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为负载均衡设置调度算法

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler

描述

默认值

支持的CCM版本

调度算法。取值:

  • wrr:加权轮询,权重值越高的后端服务器,被轮询到的次数(概率)也越高。

  • rr:轮询,按照访问顺序依次将外部请求分发到后端服务器。

  • sch:基于源 IP 地址的一致性 hash,相同的源地址会调度到相同的后端服务器。

  • tch:基于四元组的一致性 hash(源 IP+目的 IP+源端口+目的端口),相同的流会调度到相同的后端服务器。

关于该选项的更多取值,请参见CLB创建对应类型监听API(如CreateLoadBalancerTCPListener - 创建TCP监听)中的Scheduler字段。

rr

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler: "wrr"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

创建UDP类型的监听

apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: UDP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建HTTP类型的监听

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

描述

默认值

支持的CCM版本

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建HTTPS类型的监听

Annotation:多个,如下表所示。

HTTPS请求会在CLB层解密,然后以HTTP请求的形式发送给后端的Pod。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id

阿里云上的证书ID。

请登录CLB控制台,在证书管理页面查看证书ID。

说明

如需创建证书,请参见选择阿里云签发证书

v1.9.3.164-g2105d2e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "https:443"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id: "${YOUR_CERT_ID}"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

创建带健康检查的监听

设置TCP类型的健康检查

Annotation:多个,如下表所示。以下所有Annotation必选。

TCP端口默认开启健康检查。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch

TCP及UDP监听是否开启健康检查。取值:

  • on

  • off

on

v2.6.0及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-type

健康检查类型。取值:

  • tcp

  • http

更多信息,请参见:CreateLoadBalancerTCPListener

tcp

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout

接收来自运行状况检查的响应需要等待的时间,适用于TCP模式。如果后端ECS在指定的时间内没有正确响应,则判定为健康检查失败。单位:秒。取值范围为[1, 300]。

如果service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout的值小于service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval的值,则前者无效,超时时间为后者的值。更多信息,请参见CreateLoadBalancerTCPListener

5

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold

健康检查连续成功多少次后,将后端服务器的健康检查状态由fail判定为success

取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerTCPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold

健康检查连续失败多少次后,将后端服务器的健康检查状态由success判定为fail。取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerTCPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval

健康检查的时间间隔。单位:秒。取值范围[1, 50]。更多信息,请参见CreateLoadBalancerTCPListener

2

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-type: "tcp"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout: "8"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold: "4"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold: "4"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval: "3"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

设置UDP类型的健康检查

Annotation:多个,如下表所示。以下所有Annotation必选。

UDP端口默认开启健康检查。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch

TCP及UDP监听是否开启健康检查。取值:

  • on

  • off

on

v2.6.0及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout

接收来自运行状况检查的响应需要等待的时间,适用于TCP模式。如果后端ECS在指定的时间内没有正确响应,则判定为健康检查失败。单位:秒。取值范围为[1, 300]。

如果service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout的值小于service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval的值,则前者无效,超时时间为后者的值。更多信息,请参见CreateLoadBalancerUDPListener

5

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold

健康检查连续成功多少次后,将后端服务器的健康检查状态由fail判定为success。

取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerUDPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold

健康检查连续失败多少次后,将后端服务器的健康检查状态由success判定为fail。取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerUDPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval

健康检查的时间间隔。单位:秒。取值范围[1, 50]。更多信息,请参见CreateLoadBalancerUDPListener

2

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval: "5"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-connect-timeout: "10"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold: "3"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold: "3"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: UDP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为TCP和UDP监听关闭健康检查

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch

描述

默认值

支持的CCM版本

TCP及UDP监听是否开启健康检查。取值:

  • on

  • off

on

v2.6.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-switch: "off" #关闭健康检查
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

设置HTTP类型的健康检查

Annotation:多个,如下表所示。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-flag

取值:

  • on:TCP监听默认为on且不可更改。TCP无需改此Annotation参数。

  • off:HTTP监听默认为off

off

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-type

健康检查类型。取值:

  • tcp

  • http

更多信息,请参见CreateLoadBalancerHTTPListener

tcp

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-uri

用于健康检查的URI。当健康检查类型为TCP模式时,无需配置此Annotation参数。

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-httpcode

健康检查正常的HTTP状态码,多个状态码用英文半角逗号分隔。取值:

  • http_2xx

  • http_3xx

  • http_4xx

  • http_5xx

更多信息,请参见CreateLoadBalancerHTTPListener

http_2xx

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-domain

用于健康检查的域名,取值:

  • $_ip: 后端服务器的私网IP。当指定了IP或该参数未指定时,负载均衡会使用各后端服务器的私网IP作为健康检查使用的域名。

  • domain:域名长度为1~80字符,只能包含字母、数字、英文半角句号(.)和短划线(-)。

更多信息,请参见CreateLoadBalancerHTTPListener

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-timeout

接收来自运行状况检查的响应需要等待的时间,适用于HTTP模式。如果后端ECS在指定的时间内没有正确响应,则判定为健康检查失败。

单位:秒。取值范围[1, 300]。

如果service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-timeout的值小于service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval的值,则service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-timeout无效,超时时间为service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval的值。

更多信息,请参见CreateLoadBalancerHTTPListener

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold

健康检查连续成功多少次后,将后端服务器的健康检查状态由fail判定为success。

取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerHTTPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold

健康检查连续失败多少次后,将后端服务器的健康检查状态由success判定为fail。取值范围为[2, 10]。更多信息,请参见CreateLoadBalancerHTTPListener

3

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval

健康检查的时间间隔。单位:秒。取值范围[1, 50]。更多信息,请参见CreateLoadBalancerHTTPListener

2

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-method

监听HTTP类型健康检查的健康检查方法。取值:

  • head

  • get

v2.3.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-flag: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-type: "http"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-uri: "/test/index.html"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-healthy-threshold: "4"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-unhealthy-threshold: "4"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-timeout: "10"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-interval: "3"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
    # 设置健康检查HTTP状态码,可选
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-httpcode: "http_4xx"
    # 设置健康检查域名,可选
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-domain: "www.aliyun.com"
    # 设置健康检查方法,可选
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-health-check-method: "head"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听设置连接优雅中断

Annotation:多个,如下表所示。以下所有Annotation必选。

仅支持TCP和UDP协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain

是否开启连接优雅中断。取值:

  • on

  • off

v2.0.1及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain-timeout

设置连接优雅中断超时时间。单位:秒。取值范围为[10, 900]。

v2.0.1及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain-timeout: "30"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听配置额外请求头

Annotation:多个,如下表所示。

仅支持HTTP和HTTPS协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-proto

配置是否通过X-Forwarded-Proto头字段获取CLB的监听协议。取值:

  • on

  • off

off

v2.1.0及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-slbport

配置是否通过XForwardedFor_SLBPORT头字段获取负载均衡实例的监听端口。取值:

  • on

  • off

off

v2.9.1及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-clientsrcport

配置是否通过XForwardedFor_ClientSrcPort头字段获取访问负载均衡实例客户端的端口。取值:

  • on

  • off

off

v2.9.1及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-proto: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-slbport: "on"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-xforwardedfor-clientsrcport: "on"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听设置连接空闲超时时间

Annotation:多个,如下表所示。

仅支持HTTP和HTTPS协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-idle-timeout

为监听设置连接空闲超时时间。单位:秒。取值范围[1, 60]。

15

v2.1.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-idle-timeout: "30"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

关闭监听的HTTP2特性

Annotation:多个,如下表所示。

仅支持HTTPS协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id

阿里云上的证书ID。

请登录CLB控制台,在证书管理页面查看证书ID。

说明

如需创建证书,请参见选择阿里云签发证书

v1.9.3.164-g2105d2e-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-http2-enabled

是否开启HTTP2特性。取值:

  • on

  • off

on

v2.1.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "https:443"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id: "${YOUR_CERT_ID}"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-http2-enabled: "off"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听配置指定请求超时时间

Annotation:多个,如下表所示。

仅支持HTTP和HTTPS协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-request-timeout

指定请求超时时间。单位:秒。取值范围为[1, 180]。

在超时时间内,后端服务器一直没有响应,负载均衡将放弃等待,客户端返回HTTP 504错误码。

60

v2.3.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-request-timeout: "60"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听指定链接超时时间

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-established-timeout

仅支持TCP协议。

描述

默认值

支持的CCM版本

连接超时时间。单位:秒。取值范围为[10, 900]。更多信息,请参见CreateLoadBalancerTCPListener

v2.3.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-established-timeout: "60"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听配置安全策略

Annotation:多个,如下表所示。

仅支持HTTPS协议。

注解

描述

默认值

支持的CCM版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port

多个值之间用英文半角逗号(,)分隔,例如https:443,http:80

v1.9.3及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id

阿里云上的证书ID。

请登录CLB控制台,在证书管理页面查看证书ID。

说明

如需创建证书,请参见选择阿里云签发证书

v1.9.3.164-g2105d2e-aliyun及以上版本

service.beta.kubernetes.io/alibaba-cloud-loadbalancer-tls-cipher-policy

安全策略包含HTTPS可选的TLS协议版本和配套的加密算法套件。更多信息,请参见CreateLoadBalancerHTTPSListener。取值:

  • tls_cipher_policy_1_0

  • tls_cipher_policy_1_1

  • tls_cipher_policy_1_2

  • tls_cipher_policy_1_2_strict

  • tls_cipher_policy_1_2_strict_with_1_3

tls_cipher_policy_1_0

v2.4.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "https:443,http:80"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id: "${YOUR_CERT_ID}"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-tls-cipher-policy: "tls_cipher_policy_1_2"
  name: nginx
  namespace: default
spec:
  ports:
  - name: https
    port: 443
    protocol: TCP
    targetPort: 443
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

为监听同时配置TCP及UDP协议

说明

该功能要求Kubernetes集群版本不低于v1.24。关于如何升级集群版本,请参见升级ACK集群K8s版本

apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  ports:
  - name: tcp
    port: 80
    protocol: TCP
    targetPort: 80
  - name: udp
    port: 80
    protocol: UDP
    targetPort: 81
  selector:
    app: nginx
  sessionAffinity: None
  type: LoadBalancer

为TCP和UDP类型的监听配置Proxy Protocol协议

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-proxy-protocol

描述

默认值

支持的CCM版本

为TCP及UDP监听配置ProxyProtocol协议。ProxyProtocol协议配置后,可通过ProxyProtocol协议携带客户端源地址到后端服务器。取值:

  • on

  • off

重要

该功能不支持在线平滑迁移,切换ProxyProtocol需要业务停服升级,请谨慎配置。

off

v2.6.0及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-proxy-protocol: "on"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

后端服务器组的典型操作

使用指定Label的Worker节点作为后端服务器

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-backend-label

描述

默认值

支持的CCM版本

指定通过Label指定CLB后端挂载哪些Worker节点。多个Label以英文半角逗号(,)分隔,例如"k1=v1,k2=v2"。多个Label之间是And关系。

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-backend-label: "failure-domain.beta.kubernetes.io/zone=ap-southeast-5a"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

使用Pod所在的节点作为后端服务器

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler

默认externalTrafficPolicy为Cluster模式,会将集群中所有节点挂载到后端服务器。Local模式仅将Pod所在节点作为后端服务器。

描述

默认值

支持的CCM版本

调度算法。取值:

  • wrr:加权轮询,权重值越高的后端服务器,被轮询到的次数(概率)也越高。

    Local模式需要设置调度策略为加权轮询wrr。

    说明

    在v1.9.3.164-g2105d2e-aliyun及之后版本,外部流量策略设置为Local模式的服务会自动根据Node上的Pod数量为Node设置权重,权重计算规则请参见Local模式下如何自动设置Node权重?

  • rr:轮询,按照访问顺序依次将外部请求分发到后端服务器。

rr

v1.9.3及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler: "wrr"
  name: nginx
  namespace: default
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

移除CLB后端unschedulable状态的节点

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-remove-unscheduled-backend

描述

默认值

支持的CCM版本

从CLB后端移除SchedulingDisabled节点。取值:

  • on:需要从CLB的后端服务器组移除unschedulable状态的节点。

  • offkubectl cordonkubectl drain命令会将节点置为unschedulable状态。此时不会将处于unschedulable状态的节点从CLB的后端服务器组移除。

off

v1.9.3.164-g2105d2e-aliyun及以上版本

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-remove-unscheduled-backend: "on"
  name: nginx
spec:
  externalTrafficPolicy: Local
  ports:
  - name: http
    port: 30080
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: LoadBalancer

直接将Pod ENI挂载到CLB后端

Annotationservice.beta.kubernetes.io/backend-type

描述

默认值

支持的CCM版本

CLB后端服务器类型。取值:

  • eni:通过此配置将Pod挂载到CLB后端,可以提高网络转发性能。仅在Terway网络模式下生效。

    也可以手动将service.beta.kubernetes.io/backend-type: "eni"中的eni设置为ecs,将ECS挂载到CLB后端。

  • ecs:将ECS挂载到CLB后端。

  • Flannel网络模式:ecs

  • Terway网络模式:

    • 2020年08月10日之前创建的Terway集群:ecs

    • 2020年08月10日之后创建的Terway集群:eni

v1.9.3.164-g2105d2e-aliyun及以上版本

  apiVersion: v1
  kind: Service
  metadata:
    annotations:
      service.beta.kubernetes.io/backend-type: "eni"
    name: nginx
  spec:
    ports:
    - name: http
      port: 30080
      protocol: TCP
      targetPort: 80
    selector:
      app: nginx
    type: LoadBalancer

复用已有虚拟服务器组

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-vgroup-port

支持复用已有虚拟服务器组,仅在复用已有CLB场景下生效。具体的使用示例,请参见通过复用已有负载均衡实现跨集群部署服务

设置Service接收流量的权重

Annotationservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-weight

在多个Service复用同一个CLB的场景下,支持通过此Annotation设置当前Service接收流量的权重。该Annotation仅在复用已有虚拟服务器组场景下生效。具体的使用示例,请参见通过复用已有负载均衡实现跨集群部署服务