提交命令

提交任务的通用参数

使用DLC命令行提交TensorFlow（tfjob），PyTorch（pytorchjob），XGBoost（xgboostjob）任务时，存在通用的参数。通用参数列表如下

提交TensorFlow训练任务（submit tfjob）

• 功能

  用于提交TensorFlow训练任务。

• 格式

  系统支持通过命令行参数或任务参数描述文件的方式提交TensorFlow任务。

  ./dlc submit tfjob [flags]

• 参数

  如果通过命令行参数的方式提交TensorFlow任务，则需要将命令中的如下参数替换为实际值。如果通过任务参数描述文件的方式提交TensorFlow任务，则将任务参数描述文件中支持的参数以<parameterName>=<parameterValue>的形式写入文件中。提交TensorFlow任务的通用参数如文章开头的列表所示，以下为TensorFlow的任务特有参数：

  表 2. 提交TensorFlow任务的特有参数

  参数	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  workspace_id	是	工作空间的ID，（即作业提交DLC公共的工作空间）默认为空。如何创建工作空间可以参考创建工作空间。	STRING	是
  chief	否	是否启用TensorFlow Chief节点，该参数取值包括： false：默认值，表示关闭TensorFlow Chief节点。 true：表示开启TensorFlow Chief节点。	BOOL	是
  chief_image	否	TensorFlow Chief节点的镜像，默认值为空。	STRING	是
  chief_spec	否	TensorFlow Chief节点使用的服务器型号，默认值为空。	STRING	是
  master_image	否	TensorFlow Master节点的镜像，默认值为空。	STRING	是
  master_spec	否	TensorFlow Master节点使用的服务器型号。	STRING	是
  masters	否	TensorFlow Master节点的数量，默认值为0。	INT	是
  ps	否	TensorFlow Parameter Server节点的数量，默认值为0。	INT	是
  ps_image	否	TensorFlow Parameter Server节点的镜像，默认值为空。	STRING	是
  ps_spec	否	TensorFlow Parameter Server节点使用的服务器型号，默认值为空。	STRING	是
  worker_image	否	TensorFlow Worker节点的镜像，默认值为空。	STRING	是
  worker_spec	否	TensorFlow Worker节点使用的服务器型号，默认值为空。	STRING	是
  workers	否	TensorFlow Worker节点的数量，默认值为0。	INT	是
  evaluator_image	否	TensorFlow Evaluators节点的镜像，默认值为空。	STRING	是
  evaluator_spec	否	TensorFlow Evaluators节点使用的服务器型号，默认值为空。	STRING	是
  evaluators	否	TensorFlow Evaluators节点的数量，默认值为0。	INT	是
  graphlearn_image	否	TensorFlow GraphLearn节点的镜像，默认值为空。	STRING	是
  graphlearn_spec	否	TensorFlow GraphLearn节点使用的服务器型号，默认值为空。	STRING	是
  graphlearns	否	TensorFlow GraphLearn节点的数量，默认值为0。	INT	是

  表 3. 提交TensorFlow任务至专有资源组的特有参数

  参数	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  resource_id	否（若要提交任务至专有资源组则为必选）	专有资源配额的ID，默认为空。如何创建专有资源配额可以参考通用计算资源配额。	STRING	是
  priority	否	任务优先级，默认为1。	INT	是
  chief_cpu	否	TensorFlow Chief节点使用CPU的个数，默认为空。	STRING	是
  chief_gpu	否	TensorFlow Chief节点使用GPU的个数，默认为空。	STRING	是
  chief_gpu_type	否	TensorFlow Chief节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  chief_memory	否	TensorFlow Chief节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  chief_shared_memory	否	TensorFlow Chief节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  master_cpu	否	TensorFlow Master节点使用CPU的个数，默认为空。	STRING	是
  master_gpu	否	TensorFlow Master节点使用GPU的个数，默认为空。	STRING	是
  master_gpu_type	否	TensorFlow Master节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  master_memory	否	TensorFlow Master节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	TensorFlow Master节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  *_cpu	否	TensorFlow *节点使用CPU的个数，默认为空。*可替换为（ps，worker，evaluator，graphlearn）。	STRING	是
  *_gpu	否	TensorFlow *节点使用GPU的个数，默认为空。*可替换为（ps，worker，evaluator，graphlearn）。	STRING	是
  *_gpu_type	否	TensorFlow *节点使用GPU的类型，默认为空。示例值：GU50。*可替换为（ps，worker，evaluator，graphlearn）。	STRING	是
  *_memory	否	TensorFlow *节点使用的内存资源，默认为空。示例值：500 Mi，1 Gi。*可替换为（ps，worker，evaluator，graphlearn）。	STRING	是
  *_shared_memory	否	TensorFlow *节点用于共享内存资源，默认为空。示例值：500 Mi，1 Gi。*可替换为（ps，worker，evaluator，graphlearn）。	STRING	是

• 示例

  • 通过命令行参数提交一个2 Worker+ 1 PS的分布式作业，示例如下。

    ./dlc submit tfjob --name=test_2021 --ps=1 \
      --ps_spec=ecs.g6.8xlarge \
      --ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --workers=2 \
      --worker_spec=ecs.g6.4xlarge \
      --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --command="python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/" \
      --workspace_id=***** \
      --data_sources=data-2021xxxxxxxxxx-xxxxxxxxxxxx

    系统返回如下类似结果。

    +----------------------------------+--------------------------------------+
    |              JobId               |              RequestId               |
    +----------------------------------+--------------------------------------+
    | dlcmp6vwljkz****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
    +----------------------------------+--------------------------------------+

  • 通过任务参数描述文件提交一个2 Worker+ 1 PS的分布式作业，示例如下。

    ./dlc submit tfjob --job_file=job_file.dist_mnist.1ps2w

    其中job_file.dist_mnist.1ps2w为任务参数描述文件，采用<parameterName>=<parameterValue>的格式填写参数。job_file.dist_mnist.1ps2w的内容如下所示。

    name=test_2021
    workers=2
    worker_spec=ecs.g6.4xlarge
    worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    ps=1
    ps_spec=ecs.g6.8xlarge
    ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    command=python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/
    workspace_id=*****
    data_sources=data-2021xxxxxxxxxx-xxxxxxxxxxxx

提交PyTorch训练任务（submit pytorchjob）

• 功能

  用于提交PyTorch训练任务。

• 格式

  系统支持通过命令行参数或任务参数描述文件的方式提交PyTorch任务。

  ./dlc submit pytorchjob [flags]

• 参数

  如果通过命令行参数的方式提交PyTorch任务，则需要将命令中的如下参数替换为实际值。如果通过任务参数描述文件的方式提交PyTorch任务，则将任务参数描述文件中支持的参数以<parameterName>=<parameterValue>的形式写入文件中。提交PyTorch任务的通用参数如文章开头的列表所示，以下为PyTorch任务的特有参数：

  表 4. 提交PyTorch任务的特有参数

  参数名称	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  workspace_id	是	工作空间的ID，（即作业提交DLC公共的工作空间）默认为空。如何创建工作空间可以参考创建工作空间。	STRING	是
  master_image	否	PyTorch Master节点的镜像，默认值为空。	STRING	是
  master_spec	否	PyTorch Master节点使用的服务器型号，默认值为空。	STRING	是
  masters	否	PyTorch Master节点的数量，默认值为0。	INT	是
  worker_image	否	PyTorch Worker节点的镜像，默认值为空。	STRING	是
  worker_spec	否	PyTorch Worker节点使用的服务器型号，默认值为空。	STRING	是
  workers	否	PyTorch Worker节点的数量，默认值为0。	INT	是

  表 5. 提交PyTorch任务至专有资源组的特有参数

  参数	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  resource_id	否（若要提交任务至专有资源组则为必选）	专有资源配额的ID，默认为空。如何创建专有资源配额可以参考通用计算资源配额。	STRING	是
  priority	否	任务优先级。默认为1。	INT	是
  master_cpu	否	PyTorch Master节点使用CPU的个数，默认为空。	STRING	是
  master_gpu	否	PyTorch Master节点使用GPU的个数，默认为空。	STRING	是
  master_gpu_type	否	PyTorch Master节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  master_memory	否	PyTorch Master节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	PyTorch Master节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  worker_cpu	否	PyTorch Worker节点使用CPU的个数，默认为空。	STRING	是
  worker_gpu	否	PyTorch Worker节点使用GPU的个数，默认为空。	STRING	是
  worker_gpu_type	否	PyTorch Worker节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  worker_memory	否	PyTorch Worker节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  worker_shared_memory	否	PyTorch Worker节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是

• 示例

  通过命令行参数提交一个GPU的模型训练任务，示例如下。

  ./dlc submit pytorchjob --name=test_pt_face \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04 \
    --command="apt-get update; apt-get -y --allow-downgrades install libpcre3=2:8.38-3.1 libpcre3-dev libgl1-mesa-glx libglib2.0-dev; cd /root/data/face; python train.py --num_workers 0 --save_folder outputs" \
    --data_sources=data-20210410224621-xxxxxxxxxxxx \
    --workspace_id=*****

  系统返回如下类似结果。

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlcu704xxuxk****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

提交XGBoost训练任务（submit xgboostjob）

• 功能

  用于提交XGBoost训练任务。

• 格式

  系统支持通过命令行参数或任务参数描述文件的方式提交XGBoost任务。

  ./dlc submit xgboostjob [flags]

• 参数

  如果通过命令行参数的方式提交XGBoost任务，则需要将命令中的如下参数替换为实际值。如果通过任务参数描述文件的方式提交XGBoost任务，则将任务参数描述文件中支持的参数以<parameterName>=<parameterValue>的形式写入文件中。提交XGBoost任务的通用参数如文章开头的列表所示，以下为XGBoost任务的特有参数：

  表 6. 提交XGBoost任务的特有参数

  参数名称	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  workspace_id	是	工作空间的ID，（即作业提交DLC公共的工作空间）默认为空。如何创建工作空间可以参考创建工作空间。	STRING	是
  master_image	否	XGBoost Master节点的镜像，默认值为空。	STRING	是
  master_spec	否	XGBoost Master节点使用的服务器型号，默认值为空。	STRING	是
  masters	否	XGBoost Master节点的数量，默认值为0。	INT	是
  worker_image	否	XGBoost Worker节点的镜像，默认值为空。	STRING	是
  worker_spec	否	XGBoost Worker节点使用的服务器型号，默认值为空。	STRING	是
  workers	否	XGBoost Worker节点的数量，默认值为0。	INT	是

  表 7. 提交XGBoost任务至专有资源组的特有参数

  参数	是否必选	描述	类型	任务参数描述文件中是否支持该参数
  resource_id	否（若要提交任务至专有资源组则为必选）	专有资源配额的ID，默认为空。如何创建专有资源配额可以参考通用计算资源配额。	STRING	是
  priority	否	任务优先级。默认为1。	INT	是
  master_cpu	否	XGBoost Master节点使用CPU的个数，默认为空。	STRING	是
  master_gpu	否	XGBoost Master节点使用GPU的个数，默认为空。	STRING	是
  master_gpu_type	否	XGBoost Master节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  master_memory	否	XGBoost Master节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	XGBoost Master节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  worker_cpu	否	XGBoost Worker节点使用CPU的个数，默认为空。	STRING	是
  worker_gpu	否	XGBoost Worker节点使用GPU的个数，默认为空。	STRING	是
  worker_gpu_type	否	XGBoost Worker节点使用GPU的类型，默认为空。示例值：GU50。	STRING	是
  worker_memory	否	XGBoost Worker节点使用内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是
  worker_shared_memory	否	XGBoost Worker节点用于共享的内存资源，默认为空。示例值：500 Mi，1 Gi。	STRING	是

• 示例

  通过命令行参数提交一个XGBoost任务，示例如下。

  ./dlc submit xgboostjob --name=test_xgboost \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=xgboost-training:1.6.0-cpu-py36-ubuntu18.04 \
    --command="python /root/code/horovod/xgboost/main.py --job_type=Train --xgboost_parameter=objective:multi:softprob,num_class:3 --n_estimators=50 --model_path=autoAI/xgb-opt/2" \
    --workspace_id=*****

  系统返回如下类似结果。

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlc1nvu3gli0****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

提交任务的高级参数

相关文档

• 任务提交成功后，您可以通过客户端工具管理任务。具体操作，请参见停止命令和查询命令。

• 您也可以通过控制台管理已提交的任务。具体操作，请参见管理训练任务。