基于MSE云原生网关实现全链路灰度

创建Kubernetes集群

具体操作，请参见创建Kubernetes专有版集群或创建Kubernetes托管版集群。

开启MSE微服务治理

创建MSE云原生网关

具体操作，请参见创建MSE云原生网关。

为云原生网关关联服务来源

具体操作，请参见创建服务来源。

步骤1：部署后端业务应用的基线版本

1. 登录容器服务控制台。
2. 在左侧导航栏，单击集群，然后单击目标集群名称。
3. 在左侧导航栏，选择工作负载 > 无状态。
4. 在页面上方，选择集群的命名空间，然后单击右上角的使用YAML创建资源。

5. 部署基线应用。

   服务来源为MSE Nacos

   复制如下YAML文件内容，部署A、B、C三个应用的基线版本。

   说明

   代码中的{nacos server address}需要替换成您创建的MSE Nacos的内网域名，同时需要去掉大括号{}。

   展开查看YAML文件

   # 应用A的基线版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-a
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-a
     template:
       metadata:
         labels:
           app: spring-cloud-a
           msePilotCreateAppName: spring-cloud-a
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-a
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20001
           livenessProbe:
             tcpSocket:
               port: 20001
             initialDelaySeconds: 30
             periodSeconds: 60
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: {nacos server address}
           - name: dubbo.registry.address
             value: 'nacos://{nacos server address}:8848'
   ---
   # 应用B的基线版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-b
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-b
     template:
       metadata:
         labels:
           app: spring-cloud-b
           msePilotCreateAppName: spring-cloud-b
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-b
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20002
           livenessProbe:
             tcpSocket:
               port: 20002
             initialDelaySeconds: 30
             periodSeconds: 60
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: {nacos server address}
           - name: dubbo.registry.address
             value: 'nacos://{nacos server address}:8848'
   ---
   # 应用C的基线版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-c
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-c
     template:
       metadata:
         labels:
           app: spring-cloud-c
           msePilotCreateAppName: spring-cloud-c
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-c
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20003
           livenessProbe:
             tcpSocket:
               port: 20003
             initialDelaySeconds: 30
             periodSeconds: 60
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: {nacos server address}
           - name: dubbo.registry.address
             value: 'nacos://{nacos server address}:8848'

   服务来源为容器服务

   1. 复制如下YAML文件，部署Nacos，模拟自建服务注册中心的场景。

      展开查看YAML文件

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nacos-server
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: nacos-server
        template:
          metadata:
            labels:
              msePilotAutoEnable: "off"
              app: nacos-server
          spec:
            containers:
              - name: nacos-server
                image: 'registry.cn-shanghai.aliyuncs.com/yizhan/nacos-server:v2.1.2'
                env:
                  - name: MODE
                    value: standalone
                  - name: JVM_XMS
                    value: 512M
                  - name: JVM_XMX
                    value: 512M
                  - name: JVM_XMN
                    value: 256M
                imagePullPolicy: Always
                livenessProbe:
                  failureThreshold: 3
                  initialDelaySeconds: 15
                  periodSeconds: 10
                  successThreshold: 1
                  tcpSocket:
                    port: 8848
                  timeoutSeconds: 3
                readinessProbe:
                  failureThreshold: 5
                  initialDelaySeconds: 15
                  periodSeconds: 15
                  successThreshold: 1
                  tcpSocket:
                    port: 8848
                  timeoutSeconds: 3
                resources:
                  requests:
                    cpu: '1'
                    memory: 2Gi
            dnsPolicy: ClusterFirst
            restartPolicy: Always
      
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: nacos-server
      spec:
        type: ClusterIP
        ports:
          - name: nacos-server-8848-8848
            port: 8848
            protocol: TCP
            targetPort: 8848
          - name: nacos-server-9848-9848
            port: 9848
            protocol: TCP
            targetPort: 9848
        selector:
          app: nacos-server

   2. 复制如下YAML文件，部署A、B、C三个应用的基线版本。

      展开查看YAML文件

      # 应用A的基线版本
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: spring-cloud-a
        namespace: default
      spec:
        selector:
          matchLabels:
            app: spring-cloud-a
        template:
          metadata:
            labels:
              app: spring-cloud-a
              msePilotCreateAppName: spring-cloud-a
              msePilotAutoEnable: 'on'
          spec:
            containers:
            - name: spring-cloud-a
              image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
              imagePullPolicy: Always
              ports:
                - containerPort: 20001
              livenessProbe:
                tcpSocket:
                  port: 20001
                initialDelaySeconds: 30
                periodSeconds: 60
              # 通过Nacos的Service访问自建Nacos
              env:
              - name: spring.cloud.nacos.discovery.server-addr
                value: nacos-server
              - name: dubbo.registry.address
                value: 'nacos://nacos-server:8848'
      ---
      # 应用B的基线版本
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: spring-cloud-b
        namespace: default
      spec:
        selector:
          matchLabels:
            app: spring-cloud-b
        template:
          metadata:
            labels:
              app: spring-cloud-b
              msePilotCreateAppName: spring-cloud-b
              msePilotAutoEnable: 'on'
          spec:
            containers:
            - name: spring-cloud-b
              image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0
              imagePullPolicy: Always
              ports:
                - containerPort: 20002
              livenessProbe:
                tcpSocket:
                  port: 20002
                initialDelaySeconds: 30
                periodSeconds: 60
              # 通过Nacos的Service访问自建Nacos
              env:
              - name: spring.cloud.nacos.discovery.server-addr
                value: nacos-server
              - name: dubbo.registry.address
                value: 'nacos://nacos-server:8848'
      ---
      # 应用C的基线版本
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: spring-cloud-c
        namespace: default
      spec:
        selector:
          matchLabels:
            app: spring-cloud-c
        template:
          metadata:
            labels:
              app: spring-cloud-c
              msePilotCreateAppName: spring-cloud-c
              msePilotAutoEnable: 'on'
          spec:
            containers:
            - name: spring-cloud-c
              image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
              imagePullPolicy: Always
              ports:
                - containerPort: 20003
              livenessProbe:
                tcpSocket:
                  port: 20003
                initialDelaySeconds: 30
                periodSeconds: 60
              # 通过Nacos的Service访问自建Nacos
              env:
              - name: spring.cloud.nacos.discovery.server-addr
                value: nacos-server
              - name: dubbo.registry.address
                value: 'nacos://nacos-server:8848'

   3. 复制如下YAML文件，为入口应用A创建Service。

      展开查看YAML文件

      # 暴露应用A
      apiVersion: v1
      kind: Service
      metadata:
        name: sc-a
        namespace: default
      spec:
        ports:
          - port: 20001
            protocol: TCP
            targetPort: 20001
        selector:
          app: spring-cloud-a
        type: ClusterIP

步骤2：通过MSE云原生网关暴露应用A

步骤3：测试基线版本流量

1. 登录MSE网关管理控制台，并在顶部菜单栏选择地域。

2. 在左侧导航栏，选择云原生网关 > 网关列表，单击目标网关名称。

3. 在左侧导航栏，单击基本概览。

4. 在网关入口页签，查看SLB的入口地址。

5. 使用curl命令，测试基线版本流量，发现流量经过了A、B和C的基线版本。如下所示：

   # 测试命令
   curl x.x.1.1/a
   
   # 测试结果
   A[10.0.3.178][config=base] -> B[10.0.3.195] -> C[10.0.3.201]%

   如测试结果所示，B和C输出结果的应用名后面没有版本，则代表访问对应应用的基线版本。

步骤1：部署后端业务应用的灰度版本

1. 登录容器服务控制台。
2. 在左侧导航栏，单击集群，然后单击目标集群名称。
3. 在左侧导航栏，选择工作负载 > 无状态。
4. 在页面上方，选择集群的命名空间，然后单击右上角的使用YAML创建资源。

5. 复制以下YAML文件内容，部署A、C两个应用的灰度版本。

   服务来源为MSE Nacos

   说明

   代码中的{nacos server address}需要替换成您创建的MSE Nacos的内网域名，同时需要去掉大括号{}。

   展开查看YAML文件

   # 应用A的灰度版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-a-gray
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-a-gray
     template:
       metadata:
         labels:
           alicloud.service.tag: gray
           app: spring-cloud-a-gray
           msePilotCreateAppName: spring-cloud-a
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-a
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20001
           livenessProbe:
             tcpSocket:
               port: 20001
             initialDelaySeconds: 30
             periodSeconds: 60
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: {nacos server address}
           - name: dubbo.registry.address
             value: 'nacos://{nacos server address}:8848'
   ---
   # 应用C的灰度版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-c-gray
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-c-gray
     template:
       metadata:
         labels:
           alicloud.service.tag: gray
           app: spring-cloud-c-gray
           msePilotCreateAppName: spring-cloud-c
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-c
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20003
           livenessProbe:
             tcpSocket:
               port: 20003
             initialDelaySeconds: 30
             periodSeconds: 60
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: {nacos server address}
           - name: dubbo.registry.address
             value: 'nacos://{nacos server address}:8848'

   服务来源为容器服务

   展开查看YAML文件

   # 应用A的灰度版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-a-gray
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-a
     template:
       metadata:
         labels:
           alicloud.service.tag: gray
           app: spring-cloud-a
           msePilotCreateAppName: spring-cloud-a
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-a
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20001
           livenessProbe:
             tcpSocket:
               port: 20001
             initialDelaySeconds: 30
             periodSeconds: 60
           # 通过Nacos的Service访问自建Nacos
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: nacos-server
           - name: dubbo.registry.address
             value: 'nacos://nacos-server:8848'
   
   ---
   # 应用C的灰度版本
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: spring-cloud-c-gray
     namespace: default
   spec:
     selector:
       matchLabels:
         app: spring-cloud-c
     template:
       metadata:
         labels:
           alicloud.service.tag: gray
           app: spring-cloud-c
           msePilotCreateAppName: spring-cloud-c
           msePilotAutoEnable: 'on'
       spec:
         containers:
         - name: spring-cloud-c
           image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
           imagePullPolicy: Always
           ports:
             - containerPort: 20003
           livenessProbe:
             tcpSocket:
               port: 20003
             initialDelaySeconds: 30
             periodSeconds: 60
           # 通过Nacos的Service访问自建Nacos
           env:
           - name: spring.cloud.nacos.discovery.server-addr
             value: nacos-server
           - name: dubbo.registry.address
             value: 'nacos://nacos-server:8848'

步骤2：创建灰度环境泳道组

1. 登录MSE治理中心控制台，并在顶部菜单栏选择地域。

2. 在左侧导航栏，选择治理中心 > 全链路灰度。

3. 单击创建泳道组及泳道。如果您选择的微服务空间内已经创建过泳道组，则单击创建泳道组。

4. 在创建泳道组面板，单击+ 创建泳道组，在创建泳道组页面，设置如下相关配置，然后单击确定。

   配置项	说明
   泳道组名称	自定义泳道组的名称。
   入口类型	选择MSE 云原生网关。
   泳道组流量入口	选择目标云原生网关。
   泳道组涉及应用	选择spring-cloud-a、spring-cloud-b和spring-cloud-c。

   

   泳道组创建完成后，在全链路灰度页面的泳道组区域，可以查看您创建的泳道组。如需变更泳道组信息，单击图标，可在页面自行修改相关信息。

步骤3：创建灰度环境泳道

1. 在全链路灰度页面底部，单击点击创建第一个分流泳道。如果您选择的微服务空间内已经创建过泳道，则单击创建泳道。

2. 在创建泳道面板，设置流控泳道相关配置，然后单击确定。

   创建按请求内容路由的泳道

   配置项	说明
   添加应用	选择泳道标签后，会自动生成泳道名称并添加相应的应用。
   路由规则	设置相应的路由规则条件。 选择已在网关创建的基线路由：选择在步骤一创建的基线路由test。 泳道路由模式：选择按请求内容路由。 条件列表：单击下方的+添加新的规则条件，新增规则条件。 本示例灰度条件配置如下： 参数类型：Header。 参数：canary。 条件：精确匹配。 值：gray。

   创建按比例路由的泳道

   说明

   创建按比例路由的泳道，需要ack-onepilot版本为3.0.18及以上，且Agent版本为3.2.3及以上。

   配置项	说明
   添加应用	选择泳道标签后，会自动生成泳道名称并添加相应的应用。
   路由规则	设置相应的路由规则条件。 选择已在网关创建的基线路由：选择在步骤一创建的基线路由test。 泳道路由模式：选择按比例路由。 流量比例：30%。

完成泳道创建后，在全链路灰度的流量分配区域，可以查看泳道详情，还可以进行如下操作。

• 在操作列，选择开启，创建的泳道将会生效，即流量会按照泳道方式进行流转，满足规则的流量会优先流向标记有当前泳道对应标签的应用版本，如果没有对应标签的应用版本则流向未打标的应用版本。

• 在操作列，选择关闭，关闭创建的泳道，即该应用往后的流量会流向未打标的应用版本。

• 单击图标，可以查看该泳道的流量比例。

• 单击图标，可以设置该泳道上应用的状态。

步骤4：测试灰度版本流量

# 测试命令
curl -H "canary: gray" x.x.x.x/a

# 测试结果
Agray[10.0.3.177][config=base] -> B[10.0.3.195] -> Cgray[10.0.3.180]

# pip3 install requests
# python3 traffic.py
import requests


TOTAL_REQUEST = 100
ENTRY_URL = 'http://x.x.x.x/a'

def parse_tag(text:str):
    '''
    A[10.0.23.64][config=base] -> B[10.0.23.65] -> C[10.0.23.61]
    Agray[10.0.23.64][config=base] -> B[10.0.23.65] -> Cgray[10.0.23.61]
    Ablue[10.0.23.64][config=base] -> B[10.0.23.65] -> Cblue[10.0.23.61]
    '''
    print(text)
    app_parts = text.split(' -> ')
    # tag_app: C[10.0.23.61] / Cgray[10.0.23.61]
    tag_app = app_parts[-1]
    
    splits = tag_app.split('[')
    
    # tag_part: C / Cgray
    tag_part = splits[0]
    tag = tag_part[1:]
    return tag if len(tag) > 0 else 'base'

def get_tag(url:str):
    resp = requests.get(url)
    resp.encoding = resp.apparent_encoding
    return parse_tag(resp.text)

def cal_tag_count(url:str, total_request:int):
    count_map = {}
    for i in range(total_request):
        tag = get_tag(url)
        if tag not in count_map:
            count_map[tag] = 1
        else:
            count_map[tag] += 1

    print()
    print('Total Request:', total_request)
    print('Traffic Distribution:', count_map)


if __name__ == '__main__':
    cal_tag_count(ENTRY_URL, TOTAL_REQUEST)