全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
批量计算

多实例并发

更新时间:2017-06-07 13:26:11

请注意替换例子中 your-bucket 为真实的 bucket。

1. 说明:

本例子将启动一个作业(job),该作业包含一个任务(task), 该任务将启动2个instance,并行在2个VM中运行。

2个VM中运行的程序是一样的,都是任务sum中指定的命令”python sum.py”, 程序中使用环境变量中的 BATCH_COMPUTE_DAG_INSTANCE_ID 获取InstanceId, 用来区分Input数据。

InstanceId是从0开始递增的。

每个VM中任务程序处理完 ${InstanceId}-input.txt 数据后,将结果写入到 /home/outputs/${InstanceId}-output.txt 文件, 系统会自动上传到对应的oss目录:oss://your-bucket/sum/outputs/ 目录下。

当2个VM中的程序都运行完成后,任务结束,作业结束。

例子可以在这里下载

2. 上传数据文件到OSS

数据文件在 data 目录下: 0-input.txt和1-input.txt。

0-input.txt的内容:

  1. 1 20 45

1-input.txt的内容:

  1. 5 85 103

将 0-input.txt和1-input.txt 上传到:

  1. oss://your-bucket/sum/inputs/0-input.txt
  2. oss://your-bucket/sum/inputs/1-input.txt

可以使用下面的命令上传:

  1. cd data
  2. bcs oss upload 0-input.txt oss://your-bucket/sum/inputs/
  3. bcs oss upload 1-input.txt oss://your-bucket/sum/inputs/
  4. # 查看是否上传成功
  5. bcs oss ls oss://your-bucket/sum/inputs/

3. 启动任务

  1. bcs sub --file job.cfg

4. 查看结果

结果数据在 oss://your-bucket/sum/outputs/中。

可以用下面的命令查看:

  1. bcs o ls oss://your-bucket/sum/outputs/
  2. bcs o cat oss://your-bucket/sum/outputs/0-output.txt
  3. bcs o cat oss://your-bucket/sum/outputs/1-output.txt
本文导读目录