调度周期:日调度

日调度即调度节点每天在指定的定时时间运行一次。新建周期任务时,默认调度时间是在00:00~00:30时间段随机生成。您可根据需要自行指定运行时间点。例如,指定每天13点运行一次。

配置示例

  • 配置路径

    您需要进入数据开发节点的编辑页面,单击右侧导航栏的调度配置,在调度配置 > 时间属性区域配置节点的调度周期。

  • 场景示例
    • 配置详情
      • 假设导入、统计加工和导出任务,均为日调度任务。
      • 上述任务的运行时间为每天13:00点。
      • 统计加工任务依赖导入任务,导出任务依赖统计加工任务(即统计加工任务的调度依赖,配置依赖的上游任务为导入任务)。
      根据上述场景,日调度任务的配置详情如下图所示。
      说明

      cron表达式会根据您选择的时间自动生成,不可手动修改。

      日调度
    • 调度详情
      调度系统会自动为任务生成实例并运行,各业务数据加工时间如下图所示。生成并运行
      说明
      • 调度节点执行需要满足如下条件:
        • 上游任务执行成功。
        • 节点的定时运行时间已到。
        任何一个条件不满足,调度节点都无法执行,并且两个条件没有先后顺序。
      • 默认调度时间是在00:00~00:30时间段随机生成。

场景:天任务依赖小时或分钟任务

以天任务依赖小时任务为例,为您介绍天任务依赖小时任务或分钟任务的依赖情况。
说明 DataWorks支持上下游不同调度周期的任务相互依赖,在上下游调度周期不一致情况下,您可先了解DataWorks挂载依赖的默认规则,再基于业务需要根据规则来变更任务的调度配置。更多关于DataWorks复杂依赖场景的说明,请参见必读:复杂依赖场景调度配置原则与示例

天任务依赖小时任务场景说明

场景描述
天任务依赖小时任务所有周期(默认情况)DataWorks上天任务默认依赖小时、分钟任务当天所有实例,即待小时、分钟任务当天所有周期数据加工完成后,天任务才会对小时、分钟任务当天所有数据进行加工清洗。
天任务依赖指定的小时周期若天任务需要依赖小时任务或分钟任务当天指定的第几个小时、分钟实例时,小时分钟任务设置依赖上一周期:本节点(自依赖)即可。天任务将按照就近原则挂载离自己定时时间最近的小时、分钟实例。

小时、分钟设置自依赖后的影响

  • 自依赖配置前:小时、分钟任务每个周期互不影响。
  • 自依赖配置后:小时、分钟任务上一周期是否执行成功,决定下一周期是否会执行。
    说明 自依赖设置后,今天第一个小时、分钟实例将依赖昨天最后一个小时、分钟实例。
天任务依赖小时任务

场景:天任务对小时加工数据进行汇总

天任务依赖小时任务场景下,若上游小时任务调度参数配置存在偏移,导致小时任务每日第一个周期产出昨天最后一小时分区数据,天任务实际需要依赖的小时实例,变为小时任务当天第一个实例。该场景下,您可为小时任务设置依赖上一周期:本节点(自依赖),具体说明如下。天任务依赖小时任务