实现K8s集群以Serverless方式使用云上CPU/GPU资源

背景信息

为IDC中K8s集群直接添加云上节点或GPU节点的方式，适用于需要自定义配置的节点（runtime、kubelet、NVIDIA等）和特定的ECS实例规格等场景，该方式需要自行维护云上节点池，增加额外成本。您可以选择Serverless方式使用阿里云弹性容器实例ECI运行业务Pod，无需额外运维云上节点池，可以更加高效弹性的使用云上CPU和GPU资源。

前提条件

• 已通过注册集群内接入IDC中的K8s集群。具体操作，请参见创建注册集群。

• 已开通阿里云弹性容器实例ECI。

• 已通过kubectl连接注册集群。具体操作，请参见获取集群KubeConfig并通过kubectl工具连接集群。

使用场景

通过Serverless方式使用云上CPU和GPU资源，解决的依然是IDC中K8s集群的弹性能力不足，不能满足业务的快速增长、周期性业务增长和突发业务流量的问题。

通过Serverless方式，您可以在K8s集群直接提交业务Pod，该Pod将使用阿里云弹性容器实例ECI运行，弹性容器实例ECI启动速度快，与业务Pod的生命周期一致，按Pod运行时间计费。从而不需要为IDC中K8s集群创建云上节点，无需规划云上资源容量，也不需要等待ECS创建完成，实现了高度弹性，并节省了节点的运维成本。通过Serverless方式使用云上CPU和GPU资源的方式如下图所示。

IDC中K8s集群以Serverless方式使用云上CPU和GPU资源适合以下业务场景。

• 在线业务的波峰波谷弹性伸缩：例如，在线教育、电商等行业有着明显的波峰波谷计算特征。使用Serverless ECI可以显著减少固定资源池的维护，降低计算成本。

• 数据计算：使用Serverless ECI承载Spark、Presto、ArgoWorkflow等计算场景，按Pod运行时间计费，有效降低计算成本。

• CI/CD Pipeline：Jenkins、Gitlab-Runner。

• Job任务：定时任务、AI。

步骤一：安装相关组件

通过注册集群实现IDC中K8s集群以Serverless方式使用云上CPU和GPU资源，您需要安装以下组件。

• ack-virtual-node：使用虚拟节点和ECI的高度弹性能力。

• ack-co-scheduler：通过该组件，您可以自定义ResourcePolicy CR对象，使用多级弹性调度功能。

您可以通过以下两种方式安装组件。

步骤二：查看节点

ack-virtual-node组件安装完成后，您可以通过注册集群kubeconfig查看集群节点池。virtual-kubelet为虚拟节点，对接阿里云Serverless ECI。

执行以下命令，查看节点。

kubectl get node

预期输出：

NAME                               STATUS   ROLES    AGE    VERSION
iz8vb1xtnuu0ne6b58hvx0z            Ready    master   4d3h   v1.20.9   # IDC集群节点，示例只有1个Master节点，同时也是Worker节点，可以运行业务容器。
virtual-kubelet-cn-zhangjiakou-a   Ready    agent    99s    v1.20.9。 # 安装ack-virtual-node组件生产的虚拟节点。

步骤三：使用Serverless ECI运行Pod（CPU和GPU任务）

您可以通过以下两种方式进行配置，使用Serverless ECI运行Pod。

步骤四：使用多级弹性调度

参见步骤三使用Pod或命名空间的标签让Pod以Serverless ECI的方式运行后，您可以使用ACK One注册集群的多级弹性调度功能实现此效果：应用运行过程中优先使用IDC中的节点资源运行Pod，当IDC资源不足时，再使用阿里云Serverless ECI运行Pod。

通过ack-co-scheduler组件，可以自定义ResourcePolicy CR对象，从而使用多级弹性调度功能。ResourcePolicy CR为命名空间资源，主要参数说明如下。

1. 使用以下内容，定义ResourcePolicy CR，优先使用IDC中集群资源，再使用云上Serverless ECI资源。

   > cat << EOF | kubectl apply -f -
   apiVersion: scheduling.alibabacloud.com/v1alpha1
   kind: ResourcePolicy
   metadata:
     name: cost-balance-policy
   spec:
     selector:
       app: nginx           # 选择应用Pod。
       key1: value1
     strategy: prefer
     units:
     - resource: idc        # 优先使用IDC指定使用IDC中节点资源。
       max：3
     - resource: eci        # 当IDC节点资源不足时，使用Serverless ECI。
       nodeSelector:
         key2: value2
   EOF

2. 使用以下内容，创建应用Deployment，启动2个副本，每个副本需要2个CPU。

   > cat << EOF | kubectl apply -f -
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx
     labels:
       app: nginx
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         name: nginx
         annotations:
           addannotion: "true"
         labels:
           app: nginx      # 此处要与上一步创建的ResourcePolicy的selector相关联。
       spec:
         schedulerName: ack-co-scheduler
         containers:
         - name: nginx
           image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/nginx
           resources:
             requests:
               cpu: 2
             limits:
               cpu: 2
   EOF

3. 执行以下命令，对应用扩容4个副本。

   IDC中K8s集群只有一个6 CPU节点，最多启动2个Nginx Pod（系统资源预留，无法启动3个Pod），剩余的2个副本在IDC节点资源不足时，将自动使用阿里云Serverless ECI运行Pod。

   kubectl scale deployment nginx --replicas 4

4. 执行以下命令，查看Pod运行情况。

   > kubectl get pod -o wide

   预期输出：

   NAME                     READY   STATUS    RESTARTS   AGE     IP              NODE                      
   nginx-79cd98b4b5-97s47   1/1     Running   0          84s     10.100.XX.XX    iz8vb1xtnuu0ne6b58h****   
   nginx-79cd98b4b5-gxd8z   1/1     Running   0          84s     10.100.XX.XX    iz8vb1xtnuu0ne6b58h****   
   nginx-79cd98b4b5-k55rb   1/1     Running   0          58s     10.100.XX.XX    virtual-kubelet-cn-zhangjiakou-a
   nginx-79cd98b4b5-m9jxm   1/1     Running   0          58s     10.100.XX.XX    virtual-kubelet-cn-zhangjiakou-a

   预期输出表明，2个Pod运行在IDC中的节点，2个Pod使用虚拟节点在阿里云Serverless ECI上运行。