基于ECS的弹性推理

操作步骤

1. 创建弹性节点池。

   1. 登录容器服务管理控制台。

   2. 在控制台左侧导航栏，单击集群。

   3. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。

   4. 在集群管理页左侧导航栏，选择节点管理 > 节点池。

   5. 在节点池页面，单击创建节点池。

   6. 在创建节点池对话框中配置参数，然后单击确认配置。以下为重点参数配置，其他参数，请参见创建ACK Pro版集群。

      参数	说明
      自动伸缩	选中开启自动伸缩。
      付费类型	选择抢占式实例。
      节点标签	单击对话框底部的显示高级选项，设置节点标签的键为inference，节点标签的值为tensorflow。
      扩缩容策略	单击对话框底部的显示高级选项，选择成本优化策略，设置按量实例所占比例为30%，并开启允许按量实例补偿。

2. 将训练模型上传到OSS。具体操作，请参见控制台上传文件。

3. 创建PV和PVC。

   1. 创建pvc.yaml。

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: model-csi-pv
      spec:
        capacity:
          storage: 5Gi
        accessModes:
          - ReadWriteMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: ossplugin.csi.alibabacloud.com
          volumeHandle: model-csi-pv // 需要和PV名字一致。
          volumeAttributes:
            bucket: "<Your Bucket>"
            url: "<Your oss url>"
            akId: "<Your Access Key Id>"
            akSecret: "<Your Access Key Secret>"
            otherOpts: "-o max_stat_cache_size=0 -o allow_other"
      ---
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: model-pvc
      spec:
        accessModes:
        - ReadWriteMany
        resources:
          requests:
            storage: 5Gi

      参数	说明
      bucket	OSS的Bucket名称，在OSS范围内全局唯一。更多信息，请参见存储空间命名。
      url	OSS文件的访问URL。更多信息，请参见如何获取单个或多个文件的URL。
      akId	访问OSS的AccessKey ID和AccessKey Secret。建议使用RAM用户访问，更多信息，请参见创建AccessKey。
      akSecret
      otherOpts	挂载OSS时支持定制化参数输入。 -o max_stat_cache_size=0代表禁用属性缓存，每次访问文件都会从 OSS 中获取最新的属性信息。 -o allow_other代表允许其他用户访问挂载的文件系统。 参数设置的更多信息，请参见ossfs支持的设置参数选项。

   2. 执行以下命令，创建PV和PVC。

      kubectl apply -f pvc.yaml

4. 执行以下命令，部署推理服务。

   arena serve tensorflow \
     --name=bert-tfserving \
     --model-name=chnsenticorp  \
     --selector=inference:tensorflow \
     --gpus=1  \
     --image=tensorflow/serving:1.15.0-gpu \
     --data=model-pvc:/models \
     --model-path=/models/tensorflow \
     --version-policy=specific:1623831335 \
     --limits=nvidia.com/gpu=1 \
     --requests=nvidia.com/gpu=1 

   参数	说明
   selector	selector参数根据标签选择用于选择TensorFlow训练任务所需的Pods。本例设置为inference: tensorflow。
   limits: nvidia.com/gpu	最多可使用的GPU卡数量。
   requests: nvidia.com/gpu	需要使用的GPU卡数量。
   model-name	模型的名称。
   model-path	模型的访问路径。

5. 创建HPA（Horizontal Pod Autoscaler）。HPA可以根据不同负载情况，自动调整Kubernetes中的Pod副本数量。

   1. 创建hpa.yaml。

      apiVersion: autoscaling/v2beta1
      kind: HorizontalPodAutoscaler
      metadata:
        name: bert-tfserving-hpa
      spec:
        scaleTargetRef:
          apiVersion: apps/v1
          kind: Deployment
          name: bert-tfserving-202107141745-tensorflow-serving
        minReplicas: 1
        maxReplicas: 10
        metrics:
        - type: External
          external:
            metricName: sls_ingress_qps
            metricSelector:
              matchLabels:
                sls.project: "k8s-log-c210fbedb96674b9eaf15f2dc47d169a8"
                sls.logstore: "nginx-ingress"
                sls.ingress.route: "default-bert-tfserving-202107141745-tensorflow-serving-8501"
            targetAverageValue: 10

      参数	说明
      scaleTargetRef	设置当前HPA绑定的对象，配置为推理服务对应的Deployment名称。
      minReplicas	最小副本数。
      maxReplicas	最大副本数。
      sls.project	集群的日志项目名称，配置规则为k8s-log-{cluster id}。
      sls.logstore	日志库的名称，默认值为nginx-ingress。
      sls.ingress.route	Ingress路由，配置规则为{namespace}-{service name}-{service port}。
      metricname	指标名称，本文配置为sls_ingress_qps。
      targetaverageValue	触发弹性扩容的QPS值。本文配置为10，表示当QPS大于10时，触发弹性扩容。

   2. 执行以下命令，部署HPA。

      kubectl apply -f hpa.yaml

6. 配置公网Ingress。

   通过arena serve tensorflow命令部署的推理服务默认提供的是ClusterIP，不能直接通过公网访问。因此需要为推理服务创建一个公网Ingress，方便进行访问。

   1. 登录容器服务管理控制台，在左侧导航栏选择集群。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择网络 > 路由。

   3. 在路由页面上方，选择推理服务所在的命名空间，然后单击创建Ingress，配置如下参数。关于参数的更多信息，请参见创建Nginx Ingress。

      • 名称：本文配置为bert-tfserving。

      • 规则：

        • 域名：自定义域名，例如：test.example.com。

        • 路径映射

          • 路径：不做配置，保留根路径/。

          • 匹配规则：默认（ImplementationSpecific）。

          • 服务名称：通过执行kubectl get service命令获取。

          • 端口：本文配置为8501。

7. 路由创建成功后，您可以在路由页面的规则列获取到Ingress地址。

8. 使用获取的Ingress地址对推理服务进行压测。

9. 登录运维控制台。具体操作，请参见访问AI运维控制台。

   重要

   在登录运维控制台前，您需要安装和配置访问方式，具体步骤，请参见安装云原生AI套件。

10. 在运维控制台导航栏选择弹性任务 > 任务列表，单击推理任务页签，查看推理服务的详情。

    扩容得到的Pod，都运行在ECS实例上。其中既有按量付费实例，也有抢占式实例（Spot），且数量比例等于创建节点池时配置的比例。