配置共享GPU调度节点选卡策略

前提条件

• 已创建ACK集群Pro版。

• 已安装GPU资源查询工具。

策略介绍

在共享GPU调度中，如果节点存在多张GPU卡，从节点中挑选GPU卡分配给Pod时，有两种策略可以考虑：

• Binpack：默认策略，调度系统先分配完节点的一张GPU卡后，再分配节点上另一张GPU卡，避免节点出现GPU资源碎片。

• Spread：调度系统会尽量将Pod分散到这个节点的各个GPU上，避免一张GPU卡坏掉后，影响的业务过多。

以下示例表示，某个节点有2张GPU卡，每张卡有15 GiB显存，Pod1申请2 GiB显存，Pod2申请3 GiB显存。

步骤一：创建节点池

默认情况下，节点的选卡策略是Binpack。如果要使用Spread策略，请按照如下操作设置。

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。

4. 在节点池页面，单击右上角的创建节点池。

5. 在创建节点池页面，设置创建节点池的配置项，然后单击确认配置。下表仅介绍主要配置项，其余配置项请参见创建节点池。

   配置项	说明
   实例规格	架构选择GPU云服务器，选择多个GPU实例规格。 由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。
   期望节点数	设置节点池初始节点数量。如无需创建节点，可以填写为0。
   节点标签	单击，添加两条记录： 键为ack.node.gpu.schedule，值为cgpu。表示开启GPU共享调度能力，同时开启GPU显存隔离能力。 键为ack.node.gpu.placement，值为spread。表示开启节点Spread选卡策略。

步骤二：提交任务

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 任务。

3. 单击页面右上角的使用YAML创建资源，将如下代码拷贝至模板区域，然后按照注释编辑YAML内容。编辑完成后，单击页面下方的创建。

   展开查看YAML详细信息

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-mnist-spread
   spec:
     parallelism: 3
     template:
       metadata:
         labels:
           app: tensorflow-mnist-spread
       spec:
         nodeSelector:
            kubernetes.io/hostname: <NODE_NAME> # 指定<NODE_NAME>为集群中某个GPU节点名称，便于观察效果，例如：cn-shanghai.192.0.2.109。
         containers:
         - name: tensorflow-mnist-spread
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=100000
           - --data_dir=tensorflow-sample-code/data
           resources:
             limits:
               aliyun.com/gpu-mem: 4 # 总共申请4 GiB显存。
           workingDir: /root
         restartPolicy: Never

   YAML文件说明如下：

   • 该YAML定义了一个使用tensorflow mnist样例的Job。Job有3个Pod，每个Pod申请4 GiB显存。

   • Pod申请4 GiB显存通过在Pod resources.limits定义aliyun.com/gpu-mem: 4实现。

   • 为了在一个节点上看到效果，YAML为Pod添加了一个NodeSelector kubernetes.io/hostname: <NODE_NAME>，用于将Pod调度到指定节点上。

步骤三：验证节点选卡策略是否为Spread

使用共享GPU调度GPU资源查询工具，查询节点GPU资源分配情况：

kubectl inspect cgpu

NAME                   IPADDRESS      GPU0(Allocated/Total)  GPU1(Allocated/Total)  GPU2(Allocated/Total)  GPU3(Allocated/Total)  GPU Memory(GiB)
cn-shanghai.192.0.2.109  192.0.2.109  4/15                   4/15                   0/15                   4/15                   12/60
--------------------------------------------------------------------------------------
Allocated/Total GPU Memory In Cluster:
12/60 (20%)

输出结果表明，3个Pod分别调度到节点的不同GPU卡上，Spread策略生效。