补数据任务

更新时间:
复制为 MD 格式

场景

小明负责产出每天需要的销售看板,具体任务DAG图如下,目前BI看板的上游任务均为天调度,任务在每日零点运行,现在需要将该BI看板上的数据更新频率调整为每半天一次。由于F任务依赖于C任务,并要求C任务必须采用天调度,同时又需要满足每半天更新的需求,此时该怎么做呢?

image

解决方案及功能

可以通过配置补数据任务的方式,设定每日中午定时进行补数据,并且只补A > B > C这条链路的数据,此时能够使BI看板每半天更新一次,且不会影响其他任务的调度执行。

  1. 前往生产环境中的研发 > 任务运维 > 补数据任务页面新建补数据任务。在补数据范围区域中将中心节点选择为A、任务选择选择为海量模式覆盖范围选择指定终点、终点选择为C,通过这种方式,可以明确指定起点至终点的路径,并选择链路中的所有节点。在已选节点列表中,展示此次补数据任务将补A、B、C节点的数据。image

  2. 运行配置中将调度类型选择为定时调度定时运行时间选择为每12:00补数据业务日期选择为自定义定时运行时间选择为1天~前0天 00:00~23:59,这样就会重新补上一个业务日期的数据。image

    并发运行组数、补数据顺序等可根据需要自行配置,配置完成后,单击确定

  3. 补数据任务运行后,A > B > C > BI看板将每半天补一次数据,且不影响其他任务的调度执行。image