全部产品
E-MapReduce

多执行计划并行执行

更新时间:2017-06-07 13:26:11   分享:   

为了最大化利用集群的可用计算资源,目前可以将多个执行计划挂载到同一个集群来达到多个执行计划并行执行的效果。

总结为如下几点:

  1. 同一个执行计划内的作业是串行执行的,默认认为前序作业执行完毕,后序作业才能被提交执行。

  2. 在集群资源足够的情况下,如果想要让多个作业达到并行执行的效果,需要创建多个不同的执行计划,同时关联到同一个集群提交运行即可(默认一个集群最多支持 20 个执行计划同时执行)。

  3. 目前管控系统支持将关联到同一个集群的执行计划并行提交到 Yarn,但如果集群本身资源不足,还是可能阻塞在 Yarn 队列中等待调度。

创建执行计划并关联到集群的流程参见:执行计划创建流程

本文导读目录
本文导读目录
以上内容是否对您有帮助?