文档

更改共享GPU调度显存最小分配单位

更新时间:

共享GPU调度默认按1 GiB为单位申请显存,申请更细粒度的显存需要更改显存最小分配单位。本文介绍如何将共享GPU调度显存最小分配单位更改为128 MiB,以申请更细粒度的显存。

前提条件

  • 您的集群需要安装共享GPU调度专业版的组件,然后您才可以更改共享GPU调度显存最小分配单位。关于安装共享GPU调度专业版的组件,请参见安装共享GPU调度组件

  • 集群类型为ACK Pro且集群版本≥1.18.8。关于创建ACK Pro集群和升级集群,请参见创建ACK Pro版集群升级集群

注意事项

  • 如果集群中已存在共享GPU应用(申请了aliyun.com/gpu-mem的Pod),需要删除这些任务才能进行显存单元切换工作(1 GiB -> 128 MiB或128 MiB -> 1 GiB),否则调度器账本会发生混乱。

  • 该功能仅支持集群中节点开启只共享不隔离的情景(即节点打上了标签ack.node.gpu.schedule=share),对于既共享又隔离的情景(即节点打上了标签:ack.node.gpu.schedule=cgpu),因为隔离模块限制了一块GPU卡上仅能创建16个Pod,所以在一张显存为32 GiB的GPU卡上,即使您的Pod申请的显存为128 MiB,也只能创建16个Pod。

  • 当节点按128 MiB为单位上报显存资源时,不支持节点弹性伸缩,例如某个Pod申请aliyun.com/gpu-mem资源数为32,此时集群中节点没有足够的显存满足该Pod需求,该Pod处于Pending状态,即使配置了节点弹性伸缩,也不会弹出放置该Pod的节点。

  • 若集群创建时间早于2021年10月20日,需要提交工单让售后同学重启调度器,配置才能生效。

更改显存单位

未安装ack-ai-installer

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > 云原生AI套件

  3. 单击页面下方的一键部署,选中调度组件(批量任务调度、GPU共享、GPU拓扑感知、NPU调度),然后单击部署云原生AI套件

  4. 云原生AI套件页面,单击组件ack-ai-installer所在行的卸载,单击确定

  5. 卸载完成后,单击组件ack-ai-installer所在行的部署,增加如下代码gpuMemoryUnit: 128Mib1

  6. 单击确定

    组件ack-ai-installer的状态部署中变为已部署,表明组件ack-ai-installer已部署完成。

已安装ack-ai-installer

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > 云原生AI套件

  3. 单击组件ack-ai-installer所在行的卸载,单击确定

  4. 卸载完成后,单击组件ack-ai-installer所在行的部署,增加如下代码gpuMemoryUnit: 128Mib1

  5. 单击确定

    组件ack-ai-installer的状态部署中变为已部署,表明组件ack-ai-installer已部署完成。

申请显存示例

下面是一个示例Pod,该Pod通过aliyun.com/gpu-mem申请16个单位为128 MiB的显存,总共申请:16 * 128 MiB = 2GiB。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: binpack
  labels:
    app: binpack
spec:
  replicas: 1
  serviceName: "binpack-1"
  podManagementPolicy: "Parallel"
  selector: # define how the deployment finds the pods it manages
    matchLabels:
      app: binpack-1
  template: # 定义Pods规范。
    metadata:
      labels:
        app: binpack-1
    spec:
      containers:
      - name: binpack-1
        image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
        command:
        - bash
        - gpushare/run.sh
        resources:
          limits:
            # 128 MiB
            aliyun.com/gpu-mem: 16   # 16 * 128 MiB = 2 GiB