通过Docker命令行使用cGPU服务

安装cGPU服务

无论您是企业认证用户还是个人实名认证用户，推荐您通过ACK的Docker运行时环境安装和使用cGPU服务。

1. 创建集群。

   具体操作，请参见创建ACK托管集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > 云原生AI套件。

在云原生AI套件页面，单击一键部署。

3. 在基础能力区域，选中调度策略扩展（批量任务调度、GPU共享、GPU拓扑感知）。

4. 单击页面底部的部署云原生AI套件。

   组件安装成功后，在云原生AI套件页面的组件列表中能看到已安装的共享GPU组件ack-ai-installer。

使用cGPU服务

本文以ecs.gn6i-c4g1.xlarge为例演示2个容器共用1张显卡。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

运行cGPU服务

1. 执行以下命令，创建容器并设置容器内可见的显存。

   本示例中，设置ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV环境变量指定显卡的总显存和容器内可见的显存。例如创建2个容器：

   • gpu_test1：分配6 GiB显存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   • gpu_test2：分配8 GiB显存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   说明

   该命令以使用TensorFlow镜像nvcr.io/nvidia/tensorflow:19.10-py3为例，请根据实际情况更换为您自己的容器镜像。使用TensorFlow镜像搭建TensorFlow深度学习框架的操作，请参见部署NGC环境构建深度学习开发环境。

2. 执行以下命令，查看容器的显存等GPU信息。

   sudo docker exec -i gpu_test1 nvidia-smi

   以gpu_test1为例，容器gpu_test1中可见的显存为6043 MiB，如下图所示：

通过procfs节点查看cGPU服务

cGPU服务运行时会在/proc/cgpu_km下生成并自动管理多个procfs节点，您可以通过procfs节点查看和配置cGPU服务相关的信息。

1. 执行以下命令，查看procfs节点信息。

   ls /proc/cgpu_km/

   执行结果如下所示：

   

   节点信息说明

   节点信息	读写类型	说明
   0	读写	cGPU服务会针对GPU实例中的每张显卡生成一个目录。并使用数字作为目录名称，例如0、1、2。 本示例中只有一张显卡，对应的目录为0。
   default_memsize	读写	如果没有设置ALIYUN_COM_GPU_MEM_CONTAINER参数，默认为新创建的容器分配的显存大小。
   inst_ctl	读写	控制节点。
   upgrade	读写	控制cGPU服务的热升级。
   version	只读	cGPU的版本。

2. 执行以下命令，查看GPU实例的显卡目录内容。

   本示例中，以显卡0为例。

   ls /proc/cgpu_km/0

   执行结果如下所示：

   

   显卡目录内容说明

   显卡目录	读写类型	说明
   012b2edccd7a或0852a381c0cf	读写	容器对应的目录。 cGPU服务会针对运行在GPU实例中的每个容器生成一个的目录，并使用容器ID作为目录名称。 说明 您可以执行docker ps查看已创建的容器。
   free_weight	只读	用于查询和修改显卡上可用的权重。 如果free_weight=0，新创建容器的权重值为0，该容器不能获取GPU算力，不能用于运行需要GPU算力的应用。
   major	只读	表示cGPU的major number，即不同的设备类型。
   max_inst	读写	用于设置容器的最大数量，取值范围为1~25。
   policy	读写	cGPU服务支持以下算力调度策略： 0：平均调度。每个容器占用固定的时间片，时间片占比为1/max_inst。 1：抢占调度。每个容器占用尽量多的时间片，时间片占比为1/当前容器数。 2：权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。 3：固定算力调度。用于固定算力的百分比。 4：算力弱调度。隔离性弱于抢占调度。 5：原生调度。即GPU驱动本身的调度方式。 您可以通过修改policy的值实时调整调度策略。更多调度策略说明，请参见cGPU服务使用示例。
   prio_ratio	读写	在线和离线混合使用场景下，高优先级容器最大可以抢占的算力。取值范围：20~99。

3. 执行以下命令，查看容器对应的目录内容。

   本示例中，以012b2edccd7a容器为例。

   ls /proc/cgpu_km/0/012b2edccd7a

   执行结果如下所示：

   

   容器目录内容说明

   容器目录	读写类型	说明
   highprio	读写	用于设置容器的优先级，默认值为0。 当ALIYUN_COM_GPU_HIGH_PRIO参数取值为1时，表示容器最大可以抢占prio_ratio参数的算力。 说明 该功能用于在线和离线混合使用场景。
   id	只读	容器的ID。
   memsize	读写	用于设置容器内的显存大小。cGPU服务会根据ALIYUN_COM_GPU_MEM_DEV参数自动设定此值。
   meminfo	只读	包括容器内剩余显存容量、正在使用GPU的进程ID及其显存用量。输出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	读写	用于设置容器获取显卡最大算力的权重，默认值为1。所有运行中的容器的权重之和必须小于等于max_inst。

4. （可选）执行以下命令，配置cGPU服务。

   了解procfs节点的用途后，您可以在GPU实例中执行命令进行切换调度策略、修改权重等操作，示例命令如下表所示。

   命令	效果
   echo 2 > /proc/cgpu_km/0/policy	将调度策略切换为权重抢占调度。
   cat /proc/cgpu_km/0/free_weight	查看显卡上可用的权重。如果free_weight=0，新创建容器的权重值为0，该容器不能获取GPU算力，不能用于运行需要GPU算力的应用。
   cat /proc/cgpu_km/0/$dockerid/weight	查看指定容器的权重。
   echo 4 > /proc/cgpu_km/0/$dockerid/weight	修改容器获取GPU算力的权重。

通过cgpu-smi工具查看cGPU容器

您可以通过cgpu-smi工具查看cGPU容器的相关信息，包括容器ID、GPU利用率、算力限制、使用的显存以及分配显存的总量等信息。

cgpu-smi的监控展示信息如下所示：

升级或卸载cGPU服务

cGPU服务使用示例

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi