全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
批量计算

前言

更新时间:2017-11-02 14:08:25

使用 BatchCompute-cli 命令行工具,您可以快速提交作业,可以很方便的管理作业和集群。

注意:本工具只在 python2.7, 3.4, 3.5 版本测试通过,其他python版本慎用。

1. 安装

  1. pip install batchcompute-cli # 如果以前安装过,使用一下命令升级
  2. pip install -U batchcompute-cli
  • 遇到权限问题,请在前面加sudo安装。

  • 如果还没有pip命令,请先自行安装,方法网上有。 这里举例ubuntu下的安装方法:

  1. sudo apt-get update
  2. sudo apt-get install python-pip

2. 登录

  1. bcs login cn-shenzhen <access_key_id> <access_key_secret>

或者

  1. bcs login cn-shenzhen # 回车
  2. input accessKeyId: # 请输入accessKeyId
  3. input accessKeySecret: # 请输入accessKeySecret

其中 access_key_id 和 access_key_secret 是您的AK,可以到 AccessKey 获取。

当然也可以用子用户的AK。

支持的Region请看这里: 支持的地域

3. 配置OSS目录

本工具需要配置一个OSS目录,用来将保存上传的用户程序,作业日志等。

请先创建一个bucket(注意,region要与登录的region保持一致,如:cn-shenzhen), 如:mybucket-shenzhen,并且在该bucket下创建一个目录,如:cli。

  1. bcs set --osspath oss://mybucket-shenzhen/cli/

4. 默认镜像(Image)和默认实例类型(InstanceType)

本工具1.3.0以上版本,必须手动设置默认镜像和默认实例类型。

  • 默认镜像和默认实例类型的作用:

在创建集群或提交作业时,如果不显式指定Image或InstanceType,则使用默认的Image或InstanceType.

  • 如何设置:
  1. bcs set --image img-ubuntu #配置默认的Image为 img-ubuntu
  2. bcs set --type bcs.b2.3xlarge #配置默认的InstanceType为 bcs.b2.3xlarge(16核32GB)

注意:这里配置的默认镜像,可以为已经注册过的批量计算镜像资源ID(以img-开头的),也可以为已经共享给BatchCompute的ECS镜像ID(以m-开头的),推荐使用前者。

5. 设置默认使用VPC(推荐使用)

需要batchcompute-cli的1.5.5及以上版本。

  1. bcs set --vpc_cidr_block 192.168.0.0/16

设置默认使用VPC的CIDR IP段,设置完成后,如果提交代码和创建集群时不指定vpc_cidr_block,则使用此默认的192.168.0.0/16配置。

6. 查看帮助(善用 -h)

每个命令都可以加 -h,查看用法等信息。

  1. bcs -h # 查看bcs命令帮助
  2. bcs job -h # 查看job命令帮助
  3. bcs sub -h # 查看submit命令帮助
  4. ...

7. 提交作业

关于如何提交作业,请点击

本文导读目录