whale.cluster

背景信息

分布式框架的工作是将用户模型的各部分通过不同并行化方法放至分布式计算硬件上，并进行计算。该过程在Whale中总结为模型划分、资源划分及映射。Whale提供的分布式计算资源划分工具Cluster，适用于资源划分和映射部分。

格式

cluster(worker_hosts=None,
        ps_hosts=None,
        job_name="worker",
        rank=0,
        layout="all")

参数

• worker_hosts：Worker Hosts信息，STRING类型。默认值为None，表示从TF_CONFIG环境变量中获取Hosts、Rank等信息。
• ps_hosts：Parameter Server Hosts信息，STRING类型。
• job_name：当前Worker Job Name，STRING类型，默认值为"worker"。
• rank：当前Worker Rank，INTEGER类型。
• layout：Cluster的分组策略，DICT类型，默认值为all。Whale的Cluster提供的资源分组策略有以下几种：
  • all

    将所有GPU放置在一个分组中。

    以下图的资源为例，介绍如何实现该分组策略及实现效果。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(layout="all")

    返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker0:GPU1], 
            [Worker0:GPU2], 
            [Worker0:GPU3], 
            [Worker1:GPU0], 
            [Worker1:GPU1], 
            [Worker1:GPU2], 
            [Worker1:GPU3] 
        ] 
    ]

  • average

    Cluster内的所有资源平均划分，每份N张卡。

    将Worker内的GPU按行排布，如下图所示。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(layout = {'average' : 4 } )

    返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker0:GPU1],
            [Worker0:GPU2], 
            [Worker0:GPU3]
        ],
        [
            [Worker1:GPU0],
            [Worker1:GPU1],
            [Worker1:GPU2],
            [Worker1:GPU3]
        ],
    ]

    Cluster的划分结果如下图所示。
  • block

    将Cluster按照GPU Block分组。

    下图中的资源划分为两个组，分别包含6张卡和2张卡。每个分组又细分为两个子分组，通过Cluster的slices属性可以获取各分组信息。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(layout={"block" : "3,1"})

    返回的cluster.slices内容如下。

    [
        [ 
            [
                Worker0:GPU0, 
                Worker0:GPU1, 
                Worker0:GPU2
            ],
            [
                Worker1:GPU0, 
                Worker1:GPU1, 
                Worker1:GPU2
            ]
        ],
        [
            [Worker0:GPU3], 
            [Worker1:GPU3] 
        ]
    ]

  • row

    将Worker内的GPU按行排布。

    如下图所示，row的划分则是水平机器内划分。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(layout = {"row" : 4 })

    返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker0:GPU1], 
            [Worker0:GPU2], 
            [Worker0:GPU3]
        ],
        [
            [Worker1:GPU0], 
            [Worker1:GPU1]，
            [Worker1:GPU2], 
            [Worker1:GPU3] 
        ]
    ]

  • column

    将Worker内的GPU按行排布，Column的划分按照垂直跨机划分。

    Column的划分如下图所示。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(layout = {"column" : 2 })

    返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker1:GPU0]
        ],
        [
            [Worker0:GPU1], 
            [Worker1:GPU1]
        ],
        [
            [Worker0:GPU2], 
            [Worker1:GPU2]
        ],
        [
            [Worker0:GPU3], 
            [Worker1:GPU3] 
        ]
    ]

    当存在更多Worker时，Cluster按column划分，如果使用layout={"column" : 2 } 策略，则Cluster划分结果如下图所示。返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker1:GPU0]
        ],
        [
            [Worker2:GPU0],
            [Worker3:GPU0]
        ],
        [
            [Worker0:GPU1], 
            [Worker1:GPU1]
        ],
        [
            [Worker2:GPU1],
            [Worker3:GPU1]
        ],
        [
            [Worker0:GPU2], 
            [Worker1:GPU2]
        ],
        [
            [Worker2:GPU2],
            [Worker3:GPU2]
        ],
        [
            [Worker0:GPU3], 
            [Worker1:GPU3]
        ],
        [
            [Worker2:GPU3], 
            [Worker3:GPU3],
        ]
    ]

  • specific

    通过配置具体的Device信息进行cluster划分。

    将Worker内的GPU按行排布，如下图所示。您可以使用如下代码实现该分组策略。

    import whale as wh
    cluster = wh.cluster(
        layout = {'specific' : [ [['worker:0/gpu:0'], ['worker:0/gpu:1']], [['worker:1/gpu:0'], ['worker:1/gpu:1']] ] } )

    返回的cluster.slices内容如下。

    [
        [ 
            [Worker0:GPU0], 
            [Worker0:GPU1]
        ],
        [
            [Worker1:GPU0],
            [Worker1:GPU1]
        ],
    ]

    Cluster划分结果如下图所示。

返回值

示例

Whale中Worker角色概念

根据whale.cluster定义，申请到的所有Worker会通过layout策略进行分组，生成Virtual Devices Slices，该Slices是一个嵌套LIST。Whale框架将slices[0]中所有Device的对应Worker称之为Master Worker，负责原始图构造，并完成并行化图的改写。其余Worker不进行构图，直接调用server.join等待Master Worker分配任务，这些Worker称之为Slave Workers。

[
    [
        ["/job:worker/replica:0/worker:0/device:GPU:0"],
        ["/job:worker/replica:0/worker:0/device:GPU:1"],
        ["/job:worker/replica:0/worker:1/device:GPU:0"]
    ],
    [
        ["/job:worker/replica:0/worker:1/device:GPU:1"],
        ["/job:worker/replica:0/worker:2/device:GPU:0"],
        ["/job:worker/replica:0/worker:2/device:GPU:1"]
    ]
]

[
  ["/job:worker/replica:0/worker:0/device:GPU:0"],
  ["/job:worker/replica:0/worker:0/device:GPU:1"],
  ["/job:worker/replica:0/worker:1/device:GPU:0"]
]