全部产品
云市场
云游戏

集群任务拆分

更新时间:2019-12-25 20:46:02

集群任务支持任务的多层拆分。多层拆分适用于数据量很大的业务场景。通过多层的拆分将一个任务拆分到多个客户端上并发执行。支持对数据进行自定义维度的分片,不限制拆分层数,可以充分利用集群的所有机器,可以更快地处理完数据。

集群任务可以分成两个阶段:拆分阶段和执行阶段。

  • 拆分阶段:对数据进行分片,不限制拆分层数,将拆分结果上报给服务端,由服务端根据拆分的 chunk 通知客户端来拉取数据进行处理。(Chunk:一批待处理数据的索引集合)
  • 执行阶段:客户端接收到通知后拉取数据进行处理,处理完后继续拉取新的数据,直到数据都处理完成。

操作步骤

在新建或编辑集群任务时,通过指定拆分后的执行处理器(handler)来进行数据分片。

  1. 进入任务调度控制台页面,选择 任务配置,进入任务配置页面:
    • 如果要在创建任务时配置任务多层拆分,请直接点击 添加任务 > 集群任务
    • 如果要编辑已有任务,在列表中的对应任务行中点击 更多 > 编辑
  2. 任务拆分 配置下,输入拆分和执行处理器名称。点击加号添加一个拆分处理器。
    任务拆分
  3. 点击 提交