本文将为您介绍DataWorks的调度配置和依赖。

说明 下文的操作以创建同步任务中创建的write_result为例,将其调度周期配置为周调度。

DataWorks具有强大的调度能力,支持根据时间、依赖关系的节点触发机制。DataWorks可以为您保障每日千万级别的任务,根据DAG关系准确、准时运行,并且支持分钟、小时、天、周和月多种调度周期配置,详情请参见时间属性

配置同步节点的调度属性

  1. 创建同步任务后,双击需要配置的离线同步节点(write_result)。
  2. 单击右侧的调度配置,为节点配置调度属性。调度配置
    参数 描述
    生成实例方式 可以根据自身需求,选择T+1次日生成发布后即时生成
    时间属性 可以根据自身需求,选择正常调度空跑调度
    重跑属性 包括运行成功或失败后皆可重跑运行成功后不可重跑,运行失败后可以重跑运行成功或失败后皆不可重跑,请根据自身需求进行选择。
    出错自动重跑 如果重跑属性设置为运行成功或失败后皆可重跑运行成功后不可重跑,运行失败后可以重跑时,会显示该属性,可以配置任务出错自动重跑。如果设置为运行成功或失败后皆不可重跑,则不会显示该属性,即任务出错不会自动重跑。
    生效日期 节点的有效日期,请根据自身需求进行设置。
    暂停调度 勾选后即为暂停状态。
    调度周期 节点的运行周期(月、周、天、小时和分钟),例如以周为调度周期进行调度。
    定时调度 默认勾选定时调度。
    指定时间/具体时间 指定节点运行的具体时间,例如将节点配置为在每周二的凌晨2点开始运行。
    cron表达式 此处根据您配置定时时间默认显示,不可以更改。
    依赖上一周期 根据自身需求,选择是否依赖上一周期。

配置离线同步节点的依赖属性

配置离线同步节点的调度属性后,继续配置离线同步节点的依赖属性。

依赖属性中可以配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

例如,当前节点的实例将在上游insert_data节点的实例运行完毕后,才会触发执行。

在调度系统中,每一个工作空间中默认会创建一个工作空间名称_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。

提交离线同步节点

保存离线同步节点write_result,单击提交,将其提交到调度系统中。

节点只有提交至调度系统中,才会从第2天开始,自动根据调度属性配置的周期,在各时间点生成实例,然后定时运行。
说明 如果是23:30以后提交的节点,则调度系统从第3天开始,才会自动周期生成实例并定时运行。

后续步骤

现在,您已经学习了如何设置离线同步节点的调度属性和依赖关系,您可以继续下一个教程。在该教程中,您将学习如何对提交的节点进行周期运维,并查看日志排错。详情请参见运行及排错