阿里云服务网格ASM(Alibaba Cloud Service Mesh)除了可以通过控制台创建默认的入口网关服务之外,还支持通过CRD方式管理自定义网关。本文介绍如何自定义入口网关服务。

前提条件

  • 创建ASM实例,请参见创建ASM实例
  • 部署应用到ASM实例的集群中,请参见部署应用到ASM实例
  • 新增入口网关必须创建在命名空间istio-system中,以获取相关的配置信息。如果部署到其他命名空间,在Istio 1.6及以后的版本中,将因为不能获取相关配置而导致入口网关无法正常启动。

背景信息

ASM支持通过CRD方式管理自定义网关。ASM提供了一个kindIstioGatewayapiVersionistio.alibabacloud.com/v1beta1的自定义资源定义CRD,并提供了相应的Controller。通过监听该CRD资源变化事件,对应的Controller可以在相应的Kubernetes集群中同步对应的Service、Deployment以及相关联的ServiceAccount等。

部署自定义网关

  1. 创建并拷贝以下内容到myexample-customingressgateway.yaml文件中。
    apiVersion: istio.alibabacloud.com/v1beta1
    kind: IstioGateway
    metadata:   
      name: "myexample-customingressgateway"  
      namespace: "istio-system"
    spec:  
      clusterIds:
        - "cluster1Id"
        - "cluster2Id"
      cpu: 
        targetAverageUtilization: 80
      env:
        - name: "envname1"
          value: "envvalue1"
      externalTrafficPolicy: Local
      podLabels:
        key1: value1
      ports:  
      - name: status-port    
        port: 15020    
        targetPort: 15020  
      - name: http2    
        port: 80    
        targetPort: 80  
      - name: https    
        port: 443    
        targetPort: 0  
      - name: tls    
        port: 15443    
        targetPort: 15443  
      replicaCount: 1  
      resources:
        limits:
          cpu: '2'
          memory: 2G
        requests:
          cpu: 200m
          memory: 256Mi
      sds:
        enabled: false
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 2000m
            memory: 1024Mi
    # - name: config-volume-lua
    #  configMapName: lua-libs
    #  mountPath: /var/lib/lua
    # secretVolumes:
    # - name: myexample-customingressgateway-certs
    #   secretName: istio-myexample-customingressgateway-certs
    #   mountPath: /etc/istio/myexample-customingressgateway-certs
      serviceType: LoadBalancer  
      serviceAnnotations:    
        service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet  
      serviceLabels:
        serviceLabelKey1: "serviceLabelValue1"
      podAnnotations:
        podAnnotationsKey1: "podAnnotationsValue1"
      rollingMaxSurge: "100%"
      rollingMaxUnavailable: "25%"
      overrides:
        cluster1Id:
          replicaCount: 1 
          resources:
            limits:
              cpu: '2'
              memory: 2G
            requests:
              cpu: 200m
              memory: 256Mi
          serviceAnnotations:    
            service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
            service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s1.small"
        cluster2Id:
          replicaCount: 2
          resources:
            limits:
              cpu: '4'
              memory: 4G
            requests:
              cpu: 400m
              memory: 512Mi
          serviceAnnotations:    
            service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
            service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s2.small"
      hostNetwork: true
      dnsPolicy: "ClusterFirstWithHostNet"
    表 1. 参数说明
    字段 说明 默认值
    metadata.name 名称,生成的Kubernetes Service和Deployment名称为istio-{该值}。
    metadata.namespace 命名空间,生成的Kubernetes Service和Deployment所在的命名空间。
    重要 为兼容Istio 1.6及以后的版本,该命名空间必须为istio-system。
    istio-system
    clusterIds 数组类型。将部署入口网关的集群ID,这些集群隶属于当前网格实例所管理。
    cpu.targetAverageUtilization HPA支持CPU的阈值。 80
    env 数组类型。入口网关Pod的环境变量。
    externalTrafficPolicy 表示此服务是否希望将外部流量路由到节点本地或集群范围的端点。有两个可用选项:ClusterLocal Local
    ports 数组类型。入口网关Pod定义的端口和协议列表。例如:
    • name: http2 port: 80 targetPort: 80 protocol: HTTP2
    • name: https port: 443 targetPort: 443 protocol: HTTPS
    说明 1.9.7.107 之前版本,"protocol" 属性字段未做具体化声明,需统一声明配置为TCP
    replicaCount 副本数。 1
    configVolumes 入口网关Pod所使用到的ConfigMap挂载卷,例如:
    - name: config-volume-lua
      configMapName: lua-libs
      mountPath: /var/lib/lua
    resources 入口网关Pod的资源配置。
    • limits:
      • cpu: '2'
      • memory: 2G
    • requests:
      • cpu: 200m
      • memory: 256Mi
    sds.enabled 是否启用SDS。 false
    sds.resources 如果启用SDS,对应的Pod的资源配置。
    • requests:
      • cpu: 100m
      • memory: 128Mi
    • requests:
      • cpu: 2000m
      • memory: 1024Mi
    secretVolumes 入口网关Pod所使用到的Secret挂载卷,例如:
    - name: myexample-customingressgateway-certs 
      secretName: istio-myexample-customingressgateway-certs
      mountPath: /etc/istio/myexample-customingressgateway-certs
    serviceType 入口网关的服务类型,可以是LoadBalancerNodeport或者ClusterIP LoadBalancer
    serviceAnnotations 入口网关服务的Annotation定义。例如:service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain: 'on' service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain-timeout: '20'
    说明 关于Annotation的常用注解,请参见通过Annotation配置负载均衡
    serviceLabels 入口网关服务的Label定义。
    podLabels 入口网关Pod的Label定义。
    podAnnotations 入口网关Pod的Annotation定义。
    rollingMaxSurge 滚动更新过程中运行操作期望副本数的最大Pod数,可以为绝对数值,也可以为百分数。 "100%"
    rollingMaxUnavailable 滚动更新过程中不可用的最大Pod数,可以为绝对数值,也可以为百分数。 "25%"
    overrides clusterIds指定了2个或以上的集群时,可以针对特定的集群指定不同于上述参数定义的配置值,配置值为Map类型。
    说明
    • key: 本次定义的clusterIds中某一个集群ID。
    • value:支持serviceAnnotationsresourcesreplicaCount参数的赋值。
    kernel.enabled 是否启用自定义内核参数。 false
    kernel.parameters 内核参数设置,当前支持设置以下内核参数:
    重要

    ASM支持的内核参数修改项可能因宿主机内核版本不同,而出现部分参数不支持的情况。如果出现这种情况,入口网格Pod可能会报错。

    您可以通过kubectl describe pod命令查看入口网关报错情况。删除不支持的参数后,容器即可正常启动。

    所有的内核参数值为字符串格式,因YAML语法会将纯数字解析为数值类型,您需要使用""(半角双引号)包裹您的值,例如net.core.somaxconn: "65535"。

    • net.core.somaxconn
    • net.core.netdev_max_backlog
    • net.ipv4.tcp_rmem
    • net.ipv4.tcp_wmem
    • net.ipv4.ip_local_port_range
    • net.ipv4.tcp_fin_timeout
    • net.ipv4.tcp_tw_timeout
    • net.ipv4.tcp_tw_reuse
    • net.ipv4.tcp_tw_recycle
    • net.ipv4.tcp_timestamps
    • net.ipv4.tcp_retries2
    • net.ipv4.tcp_slow_start_after_idle
    • net.ipv4.tcp_max_orphans
    • net.ipv4.tcp_max_syn_backlog
    • net.ipv4.tcp_no_metrics_save
    • net.ipv4.tcp_autocorking
    • kernel.printk
    • vm.swappiness
    compression.enabled 是否启用入口网关压缩能力。 false
    compression.content_type 需要被压缩的ContentType列表,例如:
    • text/html
    • application/json
    compression.disable_on_etag_header

    设置为true时,当Response中存在etag_header时禁用压缩。

    false
    compression.min_content_length ContentLength大于等于设置的值时触发压缩。 30
    compression.remove_accept_encoding_header
    • 设置为true时,入口网关在将客户端请求转发至上游之前会将请求内的Accept-Encoding Header移除。
    • 设置为false时,入口网关在将客户端请求转发至上游之前会保留请求内的Accept-Encoding Header。
    false
    compression.gzip 当前仅支持gzip压缩格式,要启用压缩,该字段必须填写,如所有参数保持默认,也需要填写空结构。例如gzip: {}
    compression.gzip.memory_level zlib内部的内存使用级别,合法值1~9,值越大占用内存越多,同时也带来更快的压缩速度和更好的压缩质量。 5
    compression.gzip.compression_level zlib的压缩级别,合法值如下:
    说明 DEFAULT_COMPRESSION是默认压缩值。BEST_COMPRESSION是最高压缩质量。BEST_SPEED是最快的压缩速度。其中:
    • COMPRESSION_LEVEL_1压缩级别等价于BEST_SPEED。
    • COMPRESSION_LEVEL_9压缩级别等价于BEST_COMPRESSION。
    • COMPRESSION_LEVEL_6压缩级别等价于DEFAULT_COMPRESSION。
    • COMPRESSION_LEVEL_1
    • COMPRESSION_LEVEL_2
    • COMPRESSION_LEVEL_3
    • COMPRESSION_LEVEL_4
    • COMPRESSION_LEVEL_5
    • COMPRESSION_LEVEL_6
    • COMPRESSION_LEVEL_7
    • COMPRESSION_LEVEL_8
    • COMPRESSION_LEVEL_9
    • DEFAULT_COMPRESSION
    • BEST_COMPRESSION
    • BEST_SPEED
    DEFAULT_COMPRESSION
    compression.gzip.compression_strategy zlib的压缩策略,合法值如下:
    • FILTERED
    • FIXED
    • HUFFMAN_ONLY
    • RLE
    DEFAULT_STRATEGY
    compression.gzip.window_bits zlib window size,合法值为9~15。 12
    compression.gzip.chunk_size zlib输出缓冲区大小。 4096
    hostNetwork 主机网络,当hostNetwork设置为true时,入口网关Pod将使用宿主机的网络。 false
    dnsPolicy DNS策略。关于dnsPolicy的详细介绍,请参见DNS for Services and Pods ClusterFirst
    说明 若您需要使用Kubernetes Client操作入口网关,请参考Istiogateway的Go Types文件示例。
  2. 使用kubectl切换到服务网格实例对应的kubeconfig环境下,请参见通过kubectl连接ASM实例
  3. 创建命名空间myexample,请参见新建命名空间
  4. 在kubectl中执行kubectl apply -f myexample-customingressgateway.yaml命令,创建自定义入口网关。

执行结果

添加入口网关之后,可登录容器服务控制台查看详情。

查看新添加入口网关的服务信息。

  1. 登录容器服务管理控制台
  2. 在控制台左侧导航栏中,单击集群
  3. 集群列表页面中,单击目标集群名称或者目标集群右侧操作列下的详情
  4. 在集群管理页左侧导航栏中,选择网络 > 服务
  5. 服务页面,从命名空间下拉列表中选择myexample
  6. 单击目标服务操作列的详情,查看新添加入口网关的服务信息。

查看新添加入口网关的Pod信息。

  1. 登录容器服务管理控制台
  2. 在控制台左侧导航栏中,单击集群
  3. 集群列表页面中,单击目标集群名称或者目标集群右侧操作列下的详情
  4. 在集群管理页左侧导航栏中,选择工作负载 > 容器组
  5. 容器组页面,从命名空间下拉列表中选择myexample
  6. 单击目标Pod操作列的详情,查看新添加入口网关的Pod信息。

参考文件

Istiogateway的Go Types文件示例如下:

package v1beta1

import (
    corev1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

type GatewayType string
type ConfigState string

const (
    GatewayTypeIngress GatewayType = "ingress"
    GatewayTypeEgress  GatewayType = "egress"
)

// IstioGatewaySpec defines the desired state of Istio
// +k8s:openapi-gen=true
type IstioGatewaySpec struct {
    // +kubebuilder:validation:Enum=ingress;egress
    GatewayType                    GatewayType `json:"gatewayType,omitempty"`
    IstioGatewayBasicConfiguration `json:",inline"`
    ClusterIds                     []string                                  `json:"clusterIds,omitempty"`
    clusterId                      string                                    `json:"clusterId,omitempty"`
    Overrides                      map[string]IstioGatewayBasicConfiguration `json:"overrides,omitempty"`
}

type KernelParameters struct {
    NetCoreSoMaxConn             *string `json:"net.core.somaxconn,omitempty"`
    NetCoreNetdevMaxBacklog      *string `json:"net.core.netdev_max_backlog,omitempty"`
    NetIpv4TcpRMem               *string `json:"net.ipv4.tcp_rmem,omitempty"`
    NetIpv4TcpWMem               *string `json:"net.ipv4.tcp_wmem,omitempty"`
    NetIpv4IpLocalPortRange      *string `json:"net.ipv4.ip_local_port_range,omitempty"`
    NetIpv4TcpFinTimeout         *string `json:"net.ipv4.tcp_fin_timeout,omitempty"`
    NetIpv4TcpTwTimeout          *string `json:"net.ipv4.tcp_tw_timeout,omitempty"`
    NetIpv4TcpTwReuse            *string `json:"net.ipv4.tcp_tw_reuse,omitempty"`
    NetIpv4TcpTwRecycle          *string `json:"net.ipv4.tcp_tw_recycle,omitempty"`
    NetIpv4TcpTimestamps         *string `json:"net.ipv4.tcp_timestamps,omitempty"`
    NetIpv4TcpRetries2           *string `json:"net.ipv4.tcp_retries2,omitempty"`
    NetIpv4TcpSlowStartAfterIdle *string `json:"net.ipv4.tcp_slow_start_after_idle,omitempty"`
    NetIpv4TcpMaxOrphans         *string `json:"net.ipv4.tcp_max_orphans,omitempty"`
    NetIpv4TcpMaxSynBacklog      *string `json:"net.ipv4.tcp_max_syn_backlog,omitempty"`
    NetIpv4TcpNoMetricsSave      *string `json:"net.ipv4.tcp_no_metrics_save,omitempty"`
    NetIpv4TcpAutocorking        *string `json:"net.ipv4.tcp_autocorking,omitempty"`
    KernelPrintk                 *string `json:"kernel.printk,omitempty"`
    VmSwappiness                 *string `json:"vm.swappiness,omitempty"`
}

type KernelConfiguration struct {
    Enabled    *bool            `json:"enabled,omitempty"`
    Parameters KernelParameters `json:"parameters,omitempty"`
}

type GzipCompressorConfiguration struct {
    MemoryLevel         *uint32 `json:"memory_level,omitempty"`
    CompressionLevel    *string `json:"compression_level,omitempty"`
    CompressionStrategy *string `json:"compression_strategy,omitempty"`
    WindowBits          *uint32 `json:"window_bits,omitempty"`
    ChunkSize           *uint32 `json:"chunk_size,omitempty"`
}

type CompressorConfiguration struct {
    Enabled                    *bool                        `json:"enabled,omitempty"`
    MinContentLength           *uint32                      `json:"min_content_length,omitempty"`
    ContentType                *[]string                    `json:"content_type,omitempty"`
    DisableOnETagHeader        *bool                        `json:"disable_on_etag_header,omitempty"`
    RemoveAcceptEncodingHeader *bool                        `json:"remove_accept_encoding_header,omitempty"`
    Gzip                       *GzipCompressorConfiguration `json:"gzip,omitempty"`
}

type ReadinessProbeConfiguration struct {
    FailureThreshold int32 `json:"failureThreshold,omitempty"`
    PeriodSeconds    int32 `json:"periodSeconds,omitempty"`
    SuccessThreshold int32 `json:"successThreshold,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayBasicConfiguration struct {
    ReplicaCount     int32 `json:"replicaCount,omitempty"`
    AutoscaleEnabled bool  `json:"autoscaleEnabled,omitempty"`
    MinReplicas      int32 `json:"minReplicas,omitempty"`
    MaxReplicas      int32 `json:"maxReplicas,omitempty"`
    // +kubebuilder:validation:Enum=ClusterIP;NodePort;LoadBalancer
    ServiceType           corev1.ServiceType           `json:"serviceType,omitempty"`
    LoadBalancerIP        string                       `json:"loadBalancerIP,omitempty"`
    ExternalTrafficPolicy string                       `json:"externalTrafficPolicy,omitempty"`
    ServiceAnnotations    map[string]string            `json:"serviceAnnotations,omitempty"`
    PodAnnotations        map[string]string            `json:"podAnnotations,omitempty"`
    ServiceLabels         map[string]string            `json:"serviceLabels,omitempty"`
    PodLabels             map[string]string            `json:"podLabels,omitempty"`
    SDS                   GatewaySDSConfiguration      `json:"sds,omitempty"`
    Resources             *corev1.ResourceRequirements `json:"resources,omitempty"`
    EnvVars               []corev1.EnvVar              `json:"env,omitempty"`
    Ports                 []corev1.ServicePort         `json:"ports,omitempty"`
    MeshExpansionPorts    []corev1.ServicePort         `json:"meshExpansionPorts,omitempty"`
    NodeSelector          map[string]string            `json:"nodeSelector,omitempty"`
    ApplicationPorts      string                       `json:"applicationPorts,omitempty"`
    RequestedNetworkView  string                       `json:"requestedNetworkView,omitempty"`
    Affinity              *corev1.Affinity             `json:"affinity,omitempty"`
    Tolerations           []corev1.Toleration          `json:"tolerations,omitempty"`
    SecretVolumes         []SecretVolume               `json:"secretVolumes,omitempty"`
    ConfigVolumes         []ConfigVolume               `json:"configVolumes,omitempty"`
    RollingMaxSurge       *string                      `json:"rollingMaxSurge,omitempty"`
    RollingMaxUnavailable *string                      `json:"rollingMaxUnavailable,omitempty"`
    CPU                   HpaCPU                       `json:"cpu,omitempty"`
    Memory                HpaMemory                    `json:"memory,omitempty"`
    Kernel                KernelConfiguration          `json:"kernel,omitempty"`
    Compressor            CompressorConfiguration      `json:"compression,omitempty"`
    RunAsRoot             *bool                        `json:"runAsRoot,omitempty"`
    Lifecycle             *corev1.Lifecycle            `json:"lifecycle,omitempty"`
    ReadinessProbe        ReadinessProbeConfiguration  `json:"readinessProbe,omitempty"`
    HostNetwork           *bool                        `json:"hostNetwork,omitempty"`
    DnsPolicy             corev1.DNSPolicy             `json:"dnsPolicy,omitempty"`
    AutoCreateGatewayYaml *bool                        `json:"autoCreateGatewayYaml,omitempty"`
}

type SecretVolume struct {
    Name       string `json:"name,omitempty"`
    SecretName string `json:"secretName,omitempty"`
    MountPath  string `json:"mountPath,omitempty"`
}

type GatewaySDSConfiguration struct {
    Enabled   *bool                        `json:"enabled,omitempty"`
    Image     string                       `json:"image,omitempty"`
    Resources *corev1.ResourceRequirements `json:"resources,omitempty"`
}

type ConfigVolume struct {
    Name          string `json:"name,omitempty"`
    ConfigMapName string `json:"configMapName,omitempty"`
    MountPath     string `json:"mountPath,omitempty"`
}

// +k8s:openapi-gen=true
type HpaCPU struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type HpaMemory struct {
    TargetAverageUtilization *int32 `json:"targetAverageUtilization,omitempty"`
}

// +k8s:openapi-gen=true
type IstioGatewayStatus struct {
    // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
    // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
    // Add custom validation using kubebuilder tags: https://book.kubebuilder.io/beyond_basics/generating_crd.html
    Status                     ConfigState      `json:"Status,omitempty"`
    GatewayAddress             []string         `json:"GatewayAddress,omitempty"`
    ClusterIdGatewayAddressMap []GatewayAddress `json:"ClusterIdGatewayAddressMap,omitempty"`

    ErrorMessage string `json:"ErrorMessage,omitempty"`
}

// +k8s:openapi-gen=true
type GatewayAddress struct {
    IPAddress string `json:"ipAddress,omitempty"`
    ClusterId string `json:"clusterId,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGateway is the Schema for the istiogateways API
// +k8s:openapi-gen=true
// +kubebuilder:subresource:status
type IstioGateway struct {
    metav1.TypeMeta   `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec   IstioGatewaySpec   `json:"spec,omitempty"`
    Status IstioGatewayStatus `json:"status,omitempty"`
}

// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// IstioGatewayList contains a list of IstioGateway
type IstioGatewayList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items           []IstioGateway `json:"items"`
}