任务管理高级配置参数说明

本文介绍任务管理中的高级配置参数。

任务管理高级配置参数说明如下:

参数

适用的执行模式

解释

默认值

任务失败重试次数

通用

任务运行失败自动重试的次数。

说明

正在执行任务的机器重启,任务会变成失败状态,如果想立即重跑,可以配置该参数。

0

任务失败重试间隔

通用

每次失败重试的间隔。单位:秒。

30

任务并发数

通用

同一个Job同一时间运行的实例个数。1表示不允许重复执行。

1

清理策略

通用

任务执行历史记录的清理策略。

保留最近N

保留记录数

通用

任务历史执行记录的保留记录数。

300

子任务单机并发数

  • 可视化MapReduce

  • MapReduce

  • 分片运行

分布式模型,单台机器并发消费子任务的个数。如需加快执行速度,可以调大该值。如果下游或者数据库无法承接,可适当调小。

5

子任务失败重试次数

  • 可视化MapReduce

  • MapReduce

  • 分片运行

分布式模型,子任务失败自动重试的次数。

0

子任务失败重试间隔

  • 可视化MapReduce

  • MapReduce

  • 分片运行

分布式模型,子任务失败自动重试的间隔。单位:秒。

0

子任务failover策略

  • 可视化MapReduce

  • MapReduce

  • 分片运行

当执行节点宕机下线后,是否将子任务重新分发给其他机器执行。开启该配置后,发生failover时,子任务可能会重复执行,需自行做好幂等。

说明

客户端版本为1.8.13及以上。

主节点参与执行

  • 可视化MapReduce

  • MapReduce

  • 分片运行

主节点是否参与子任务执行。在线可运行Worker数量必须不低于2台,在子任务数量特别大时,推荐关闭该参数。

说明

客户端版本为1.8.13及以上。

子任务分发方式

  • 可视化MapReduce

  • MapReduce

  • 分片运行

  • 推模型:每台机器平均分配子任务。

  • 拉模型: 每台机器主动拉取子任务,没有木桶效应。拉取过程中,所有子任务会缓存在Master节点,对内存有压力,建议子任务数不超过10,000。

推模型

分发策略

  • 可视化MapReduce

  • MapReduce

子任务分发策略,默认采用各个节点轮询分发。

  • 轮询策略:每个worker平均分配等量子任务,适用于每个子任务处理耗时基本一致的场景。

  • 负载最优策略:由主节点自动感知worker节点各自负载情况,适用子任务和worker机器处理耗时有较大差异的场景。

说明

客户端版本为1.10.14及以上。

分发速率

  • 可视化MapReduce

  • MapReduce

子任务分发速率,支持每秒或每分钟分发多少个子任务。

子任务单次拉取数(仅适用于拉模型)

  • 可视化MapReduce

  • MapReduce

  • 分片运行

Slave节点每次向Master节点拉取多少个子任务。

5

子任务队列容量(仅适用于拉模型)

  • 可视化MapReduce

  • MapReduce

  • 分片运行

Slave节点缓存子任务的队列大小。

10

子任务全局并发数(仅适用于拉模型)

  • 可视化MapReduce

  • MapReduce

  • 分片运行

分布式拉模型支持全局子任务并发数,可以进行限流。

1,000