如何基于MSE Ingress实现全链路灰度_微服务引擎 MSE-阿里云帮助中心

通过MSE Ingress网关提供的全链路灰度能力，您可以在不需要修改任何业务代码的情况下，实现全链路流量控制。本文介绍如何通过MSE Ingress网关实现全链路灰度功能。

前提条件

已创建Kubernetes集群。具体操作，请参见创建Kubernetes托管版集群。
已开通MSE微服务治理专业版。具体操作，请参见开通MSE微服务治理。

使用限制

由于全链路灰度功能整合了标签路由功能，因此不推荐已经加入全链路流量控制的应用配置金丝雀发布和标签路由规则。

限制项	限制值	说明
Spring Cloud版本	Spring Cloud Edgware及以上版本。	无。
Dubbo版本	2.5.3～2.7.8	Dubbo 3.0及以上版本当前处于灰度中，如有场景需求，请提工单。
客户端类型	Resttemplate Spring Cloud OpenFeign	无。
Java应用JDK版本	目前支持JDK 1.6、1.7、1.8、1.11、1.17版本应用接入。	无。
负载均衡类型	Ribbon 2.0.x及以上版本。 LoadBalancer 3.0.x及以上版本。	无。
Spring Cloud Gateway版本	Spring Cloud Gateway 2.1.0.RELEASE及以上版本。	无。
Spring Cloud Zuul版本	1.3.x	无。
注册中心类型	Nacos Eureka ZooKeeper	微服务治理能力无关注册中心，可以是MSE托管注册中心，也可以是自建注册中心。

背景信息

在微服务场景中，当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，由于应用之间的调用是随机的，会导致无法将具有一定特征的流量路由到应用的目标版本。全链路流量控制功能将应用的相关版本隔离成一个独立的运行环境（即泳道），通过设置Ingress路由规则，将满足规则的请求流量路由到目标版本应用。

全链路灰度场景

本文以电商架构中的下单场景为例，介绍从MSE Ingress网关到微服务的全链路流控功能。假设应用的架构由MSE Ingress网关以及后端的微服务架构（Spring Cloud）组成，后端调用链路有3个：交易中心（A）、商品中心（B）和库存中心（C），可以通过客户端或者是HTML来访问后端服务，这些服务之间通过Nacos注册中心实现服务发现。

客户下单后流量从MSE Ingress网关进入，先调用交易中心（A），然后交易中心（A）再调用商品中心（B)，最后商品中心（B）再调用下游的库存中心（C）。调用链路从左到右依次为：客户->MSE Ingress->A->B->C。

随着业务不断迭代，功能也不断更新。在新版本正式上线之前，需要同时对应用A和应用C进行灰度验证，确认无误后方可正式上线。新功能上线过程中，涉及到应用A和应用C同时发布新版本。通过MSE Ingress网关和MSE微服务治理提供的全链路灰度能力，您可以端到端的构建从网关到多个后端服务的全链路灰度，控制具有一定特征的灰度流量始终路由到应用对应的灰度环境，满足您同时灰度验证多个服务的诉求。此外，在应用无目标灰度版本时，自动容灾到正式环境中。

全链路灰度场景

名词解释

泳道
为相同版本应用定义的一套隔离环境。只有满足了流控路由规则的请求流量才会路由到对应泳道里的打标应用。一个应用可以属于多个泳道，一个泳道可以包含多个应用，应用和泳道是多对多的关系。
泳道组
泳道的集合。泳道组的作用主要是为了区分不同团队或不同场景。
MSE Ingress网关
MSE Ingress网关是在MSE云原生网关基础上提供的Ingress流量管理方式，兼容Nginx Ingress以及超50种Nginx Ingress注解，支持多服务版本同时灰度发布。同时，灵活的服务治理能力以及全方位的安全防护保障，可以满足大规模云原生分布式应用的流量治理诉求。更多信息，请参见MSE Ingress概览。

准备工作

安装MSE Ingress Controller组件

安装MSE Ingress Controller组件并授予相关权限。具体操作，请参见为容器服务中的MSE Ingress Controller授权。
部署MSE Ingress Controller组件。具体操作，请参见部署MSE Ingress。

开启MSE微服务治理

开通微服务治理专业版。
具体操作，请参见开通MSE微服务治理。
为应用开启微服务治理。
1. 登录MSE治理中心控制台。
2. 在左侧导航栏，选择治理中心 > 运维中心 > K8s集群列表。在目标集群操作列，单击管理。
3. 在集群详情页面，在目标命名空间操作列，单击开启微服务治理。然后单击确定。

部署Demo应用程序

登录容器服务管理控制台。
在控制台左侧导航栏，单击集群。
在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。
在集群管理页左侧导航栏，选择工作负载 > 无状态。
在无状态页面，选择命名空间，然后单击使用YAML创建资源。

对模板进行相关配置，完成配置后单击创建。

本文示例中部署一个Nacos Server应用，用于实现服务发现，部署A、B、C三个应用。其中A和C应用分别部署一个基线版本和一个灰度版本，B应用部署一个基线版本。

部署Nacos Server应用。

展开查看YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nacos-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nacos-server
  template:
    metadata:
      labels:
        app: nacos-server
    spec:
      containers:
      - env:
        - name: MODE
          value: standalone
        image: nacos/nacos-server:v2.2.0
        imagePullPolicy: Always
        name: nacos-server
      dnsPolicy: ClusterFirst
      restartPolicy: Always

# Nacos Server Service配置
---
apiVersion: v1
kind: Service
metadata:
  name: nacos-server
spec:
  ports:
  - port: 8848
    protocol: TCP
    targetPort: 8848
  selector:
    app: nacos-server
  type: ClusterIP

部署A应用

基线（base）版本的YAML如下。

展开查看基线（base）版本的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a
  template:
    metadata:
      labels:
        app: spring-cloud-a
        msePilotAutoEnable: 'on'
        msePilotCreateAppName: spring-cloud-a
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

灰度（gray）版本的YAML如下。

展开查看灰度（gray）版本的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a-gray
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a-gray
  strategy:
  template:
    metadata:
      labels:
        app: spring-cloud-a-gray
        msePilotAutoEnable: 'on'
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-a
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a-gray
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

部署B应用

基线（base）版本的YAML如下。

展开查看基线（base）版本的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-b
  strategy:
  template:
    metadata:
      labels:
        app: spring-cloud-b
        msePilotAutoEnable: 'on'
        msePilotCreateAppName: spring-cloud-b
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-b
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20002
          initialDelaySeconds: 10
          periodSeconds: 30

部署C应用

基线（base）版本的YAML如下。

展开查看基线（base）版本的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c
  template:
    metadata:
      labels:
        app: spring-cloud-c
        msePilotAutoEnable: 'on'
        msePilotCreateAppName: spring-cloud-c
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-c
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

灰度（gray）版本的YAML如下。

展开查看灰度（gray）版本的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c-gray
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c-gray
  template:
    metadata:
      labels:
        app: spring-cloud-c-gray
        msePilotAutoEnable: 'on'
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-c
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: IfNotPresent
        name: spring-cloud-c-gray
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

针对入口应用A，配置两个K8s Service。
1. 登录容器服务控制台。
2. 在集群管理页左侧导航栏，选择网络 > 服务。
3. 在服务页面，选择命名空间，然后单击使用YAML创建资源，对模板进行相关配置，完成配置后单击创建。
  - spring-cloud-a-base对应A的base版本。
    展开查看YAML文件
    apiVersion: v1 kind: Service metadata: name: spring-cloud-a-base spec: ports: - name: http port: 20001 protocol: TCP targetPort: 20001 selector: app: spring-cloud-a
  - spring-cloud-a-gray对应A的gray版本。
    展开查看YAML文件
    apiVersion: v1 kind: Service metadata: name: spring-cloud-a-gray spec: ports: - name: http port: 20001 protocol: TCP targetPort: 20001 selector: app: spring-cloud-a-gray

步骤一：创建泳道组

登录MSE治理中心控制台，并在顶部菜单栏选择地域。
在左侧导航栏，选择治理中心 > 全链路灰度。
在全链路灰度页面，单击创建泳道组及泳道。如果您选择的微服务空间内已经创建过泳道组，则单击+创建泳道组。
在创建泳道组面板，设置泳道组相关参数，然后单击确定。
配置项
说明
泳道组名称
自定义设置泳道组的名称。
入口类型
选择ingress。
泳道组涉及所有应用
选择您的入口应用或入口网关所涉及的所有相关服务。
泳道组创建完成后，请检查入口应用和所涉及的应用是否正确。您可以在全链路灰度页面的泳道组涉及应用区域，查看您已创建的泳道组。如需变更泳道组信息，请单击右侧的图标并修改相关信息。

步骤二：创建泳道

在全链路灰度页面顶部，选择和泳道组相同的地域，然后在页面底部单击点击创建第一个分流泳道。
如果您选择的微服务空间内已经创建过泳道，则单击创建泳道。
重要
加入全链路流量控制的应用，不推荐使用金丝雀发布和标签路由功能。

在创建泳道面板，设置流控泳道相关参数，然后单击确定。

重要

如果您的网关应用是Ingress网关，需要在容器服务管理控制台配置Ingress路由规则。具体操作，请参见创建Nginx Ingress。

配置项	说明
泳道名称	自定义设置流控泳道的名称。
配置应用标签	配置方式：在容器ACK控制台中，在应用YAML的`spec.template.metadata.labels`下增加`alicloud.service.tag:{tag}`。设置标签名：如“B-gray”，并为`spec.template.metadata.labels`增加如下两个key-value键值对。 `msePilotCreateAppName:${AppName}` `alicloud.service.tag:gray`
添加应用	完成配置应用标签后，下拉框中会出现相应的标签列表，选择对应的标签，则会自动添加相应的应用。

完成泳道创建后，在全链路灰度的流量分配区域，可以查看或配置泳道信息。

单击图标，查看该泳道的流量比例。
单击图标，可在泳道列表的操作列，设置该泳道应用的状态。
- 开启泳道：单击开启，创建的泳道将会生效，即流量会按照泳道方式进行流转，满足规则的流量会优先流向标记有当前泳道对应标签的应用版本，如果没有对应标签的应用版本则流向未打标的应用版本。
- 关闭泳道：单击关闭，关闭创建的泳道，即该应用往后的流量会流向未打标的应用版本。
- 修改泳道：单击编辑，修改当前泳道的配置信息。
- 删除泳道：单击删除，删除目标泳道。

步骤三：配置基线环境的Ingress规则

如果业务域名为example.com，访问example.com的请求流量只通过基线环境（线上环境），可以通过如下代码配置基线环境的Ingress规则。

展开查看YAML文件

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: spring-cloud-a
  namespace: default
spec:
  ingressClassName: mse
  rules:
    - host: example.com
      http:
        paths:
          - backend:
              service:
                name: spring-cloud-a-base
                port:
                  number: 20001
            path: /
            pathType: Prefix

使用curl命令访问example.com路由到基线环境。

curl -H "Host:www.example.com" http://106.14.XX.XX/a

返回结果如下：

A[172.18.XX.XX] -> B[172.18.XX.XX] -> C[172.18.XX.XX]%

步骤四：配置灰度环境的Ingress规则

如果基于Header策略来区分线上正式流量和灰度流量，希望带有HTTP Header为x-user-id: 100的请求流量访问example.com路由到灰度环境中，流量会优先访问链路中各个应用对应的灰度版本，若无灰度版本，则会容灾到基线版本。通过如下代码配置灰度环境的Ingress规则。

展开查看YAML文件

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/canary: 'true'
    nginx.ingress.kubernetes.io/canary-by-header: x-user-id
    nginx.ingress.kubernetes.io/canary-by-header-value: '100'
    mse.ingress.kubernetes.io/request-header-control-update: x-mse-tag gray
  name: spring-cloud-a-gray
  namespace: default
spec:
  ingressClassName: mse
  rules:
    - host: example.com
      http:
        paths:
          - backend:
              service:
                name: spring-cloud-a-gray
                port:
                  number: 20001
            path: /
            pathType: Prefix

上述代码使用注解实现路由灰度发布、Header配置以及Header控制能力。关于注解的更多用法，请参见MSE Ingress高级用法。

使用curl命令访问example.com路由到灰度环境，其中带有HTTP Header为x-user-id: 100的请求流量。

curl -H "host: example.com" -H "x-user-id: 100" 47.101.XX.XX/a

返回结果如下。灰度流量优先访问了A和C的灰度版本，由于B没有灰度版本，所以访问了B的基线版本。

Agray[10.1.XX.XX] -> B[10.1.XX.XX] -> Cgray[10.1.XX.XX]%

控制台查看应用的流量监控图

查看单个应用的监控图
1. 在全链路灰度页面，单击目标泳道组页签。
2. 在泳道组及涉及的应用区域，单击目标应用名称，在右侧会出现对应的QPS监控图（总）。
查看泳道组内所有应用的监控图。
1. 在全链路灰度页面，单击目标泳道组页签。
2. 在QPS监控图右侧，单击查看所有应用监控（流量逃逸观测），可以查看该泳道所有应用的流量监控图。

配置项	说明
泳道组名称	自定义设置泳道组的名称。
入口类型	选择ingress。
泳道组涉及所有应用	选择您的入口应用或入口网关所涉及的所有相关服务。