Docker 作业提交

BatchCompute 中, 提交作业时使用 docker 与普通 VM 作业基本相同,只是在设置作业参数时有稍微区别。

1. DAG 作业

1.1 使用支持 Docker 的 ImageId

需要将集群描述的 ImageId 指定为 BatchCompute 的公共镜像的 Id(支持 Docker 镜像, ID 为 img-ubuntu)。

AutoCluster 集群 ImageId 设置代码:

//设置AutoCluster集群ImageID
AutoCluster autoCluster = new AutoCluster();
//设置集群镜像信息ECSImageId 在不同region可能会发生变化
//autoCluster.setECSImageId("m-wz9dk5nao5z3fw6bo9k6");
//建议使用setImageId接口设置
autoCluster.setImageId("img-ubuntu");

固定集群 ImageId 设置代码:

ClusterDescription desc = new ClusterDescription();
desc.setName("cluster_test");
desc.setImageId("img-ubuntu");

1.2 Docker 镜像在 OSS

需要 DAG 作业环境变量(EnvVars)中增加如下两个参数如下,具体 EnvVars 变量在 DAG 作业中的位置,参考API文档

字段名称

描述

是否可选

BATCH_COMPUTE_DOCKER_IMAGE

Docker 镜像名称

可选

BATCH_COMPUTE_DOCKER_REGISTRY_OSS_PATH

Docker 镜像在 OSS-Registry 中的存储路径

可选

  • 如果没有 BATCH_COMPUTE_DOCKER_IMAGE 参数,表示不使用 docker ,这时 BATCH_COMPUTE_DOCKER_REGISTRY_OSS_PATH 将被忽略。

  • 如果有 BATCH_COMPUTE_DOCKER_IMAGE, 则表示使用 docker。

示例代码:

//oss registry模式
cmd.addEnvVars("BATCH_COMPUTE_DOCKER_IMAGE", "localhost:5000/yuorBucket/dockers:0.1");//镜像名称:版本;
cmd.addEnvVars("BATCH_COMPUTE_DOCKER_REGISTRY_OSS_PATH", "oss://your-bucket/dockers");//设置OSS地址

1.3 Docker 镜像在容器镜像仓库

需要 DAG 作业 Docker 变量设置容器镜像仓库地址以及镜像版本号如下,具体 Docker 变量在 DAG 作业中的位置,参考API文档

示例代码

//容器镜像模式
Command.Docker docker = new Command.Docker();
docker.setImage("registry.cn-beijing.aliyuncs.com/demotest/test:0.1");
cmd.setDocker(docker);

1.4 创建作业的源码

JAVA 源码参考作业创建SDK描述

2. APP 作业

APP在创建的时候指定是VM 运行还是 docker运行作业,因此需要在创建APP时配置,APP描述中设置docker配置。Docker 镜像在 OSS 和镜像在容器镜像仓库参数相同,只是设置方法存在差异。

2.1 Docker 镜像在 OSS

示例代码

//设置docker oss registry 模式
AppDescription.Docker docker = new AppDescription.Docker();
docker.setImage("localhost:5000/yuorBucket/dockers:0.1");//镜像信息
docker.setRegistryOSSPath("oss://your-bucket/dockers");//OSS 地址
desc.setDocker(docker);

2.2 Docker 镜像在容器镜像仓库

示例代码

//设置docker oss registry 模式
AppDescription.Docker docker = new AppDescription.Docker();

//设置docker 容器镜像服务 模式
docker.setImage("registry.cn-beijing.aliyuncs.com/demotest/test:0.1");//镜像信息

desc.setDocker(docker);

2.3 创建APP的源码

JAVA 源码参考APP创建SDK描述