本文将为您介绍DataWorks的调度配置和依赖。

说明 下文的操作以创建数据同步节点中创建的write_result为例,将其调度周期配置为周调度。

DataWorks具有强大的调度能力,支持根据时间、依赖关系的节点触发机制。DataWorks保障每日千万级别的任务,根据DAG关系,准确、准时运行。且支持分钟、小时、天、周和月多种调度周期配置,详情请参见调度配置介绍

配置同步节点的调度属性

  1. 创建数据同步节点后,双击需要配置的数据同步节点(write_result)。
  2. 单击右侧的调度配置,为节点配置调度属性。
    调度配置
    配置 说明
    生成实例方式 可以根据自身需求,选择T+1次日生成发布后即时生成
    时间属性 可以根据自身需求,选择正常调度空跑调度
    出错重试 勾选后即开启。
    生效日期 节点的有效日期,根据自身需求进行设置。
    暂停调度 勾选后即为暂停状态。
    调度周期 节点的运行周期(月/周/天/小时/分钟),例如以周为调度周期进行调度。
    定时调度 默认勾选定时调度。
    指定时间/具体时间 指定节点运行的具体时间,例如将节点配置为在每周二的凌晨2点开始运行。
    cron表达式 默认为00 00 02 1 * ?,不可以更改。
    依赖上一周期 根据自身需求,选择是否依赖上一周期。

配置数据同步节点的依赖属性

完成数据同步节点的调度属性的配置后,继续配置数据同步节点的依赖属性。
依赖属性

依赖属性中可以配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

如上图所示的配置表明:当前节点的实例将在上游insert_data节点的实例运行完毕后,才会触发执行。

在调度系统中,每一个项目中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。

提交数据同步节点

保存数据同步节点write_result,单击提交,将其提交到调度系统中。
提交
节点只有提交至调度系统中,才会从第二天开始,自动根据调度属性配置的周期,在各时间点生成实例,然后定时运行。
说明 如果是23:30以后提交的节点,则调度系统从第三天开始,才会自动周期生成实例并定时运行。

后续步骤

现在,您已经学习了如何设置数据同步节点的调度属性和依赖关系,您可以继续学习下一个教程。在该教程中,您将学习如何对提交的节点进行周期运维,并查看日志排错。详情请参见运行及排错