集群任务支持任务的多层拆分。多层拆分适用于数据量很大的业务场景。通过多层的拆分将一个任务拆分到多个客户端上并发执行。支持对数据进行自定义维度的分片,不限制拆分层数,可以充分利用集群的所有机器,更快地处理数据。
集群任务可以分成两个阶段:拆分阶段和执行阶段。
- 拆分阶段:对数据进行分片,不限制拆分层数,将拆分结果上报给服务端,由服务端根据拆分的 chunk 通知客户端来拉取数据进行处理。(Chunk:一批待处理数据的索引集合)
- 执行阶段:客户端接收到通知后拉取数据进行处理,处理完后继续拉取新的数据,直到数据都处理完成。
操作步骤
在新建或编辑集群任务时,通过指定拆分后的执行处理器(handler)来进行数据分片。
- 进入任务调度控制台页面,选择 任务配置,进入任务配置页面:
- 如果要在创建任务时配置任务多层拆分,请直接点击 添加任务 > 集群任务。
- 如果要编辑已有任务,在列表中的对应任务行中点击 更多 > 编辑。
- 在 任务拆分 配置下,输入拆分和执行处理器名称。点击加号添加一个拆分处理器。

- 点击 提交。
在文档使用中是否遇到以下问题
更多建议
匿名提交