文档

配置离线任务调度依赖

更新时间:

Dataphin通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。

背景信息

调度依赖就是节点间的上下游依赖关系,在Dataphin中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。配置调度依赖后,可以保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,Dataphin通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数时出现问题。

操作步骤

  1. 请参见离线任务属性入口,进入离线任务属性配置页面。

  2. 按照下图操作指引,选择您需配置调度依赖的任务,并单击属性进入属性面板。

    image..png

  3. 属性面板中调度依赖区域,配置任务的调度依赖信息。

    1. 上游依赖

      • 自动解析

        • 当节点的任务类型为SQL时,您可以单击自动解析,Dataphin将根据任务代码自动解析获取上游任务和输出表。解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息,请参见自动解析流程

        说明
        • 自动解析出的输入表如果存在多个产出任务, 默认将所有产出任务作为上游依赖。

        • 解析出的所有依赖表,依赖周期默认为本周期

        • 如果代码中引用项目变量或不指定项目,则系统默认解析为生产项目名,以保证生成调度的稳定性。例如,开发项目名称为onedata_dev

          • 如果代码里指定select * from s_order,则调度解析依赖为onedata.s_order

          • 如果代码里指定select * from ${onedata}.s_order,则调度解析依赖为onedata.s_order

          • 如果代码里指定select * from onedata.s_order,则调度解析依赖为onedata.s_order

          • 如果代码里指定select * from onedata_dev.s_order,则调度解析依赖为onedata.s_order

      • 添加根节点

        若任务无对应上游依赖时,您可单击添加根节点作为当前任务的上游依赖

        说明

        每个租户或企业在初始化时都会有一个以virtual_root_node开头的虚拟根节点。

      • 添加本节点上周期

        即该节点任务的调度需要依赖于本节点上一周期(前1天或前n小时)运行成功。

      • 添加依赖

        自动解析无法解析出调度依赖关系或自动解析生成的上游依赖配置与实际应用不符时,您可以手动单击+添加依赖添加节点的上游依赖。

        重要
        • 添加依赖时,物理节点和逻辑表节点的依赖周期依赖策略自动使用系统推荐的最佳设置。若您需要修改,您可以单击依赖列表image.png编辑单个依赖的依赖周期依赖策略

          • 依赖周期:上游任务实例的定时运行时间(起调时间)区间范围。 一般情况下为当日,即区间范围为当日[00:00~24:00)。

          • 依赖策略:某些依赖周期内,可能存在多个实例,需要指定依赖策略。 只有一个实例时,依赖策略可以设置为任意选项。为了兼容上游任务可能的调度设置修改,仅支持相对路径策略。

        • 跨周期依赖的默认策略,请参见附录:跨周期依赖默认策略

        • 添加物理节点依赖

          image.png

          区域

          描述

          搜索与筛选区

          您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的物理表节点。支持的筛选条件包括本项目项目节点类型以及输入节点名称输出表名进行筛选。

          节点列表

          节点列表为您展示可依赖的物理节点,您可根据您的需求进行选择。

        • 添加逻辑表节点

          image.png

          区域

          描述

          搜索与筛选区

          您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的逻辑表节点。支持的筛选条件包括逻辑表类型所属的板块以及输入逻辑表名进行筛选。

          节点列表

          节点列表为您展示可依赖的逻辑表节点,您可根据您的需求进行选择。

          若您需依赖逻辑表中某些字段,非整个逻辑表。您可在节点列表的依赖字段栏单击image..png可查看逻辑表所拥有的表字段,您可根据您的需求进行选择。

    2. 本节点输出

      系统将为您所创建的节点自动生成输出名,若您需添加多个输出名,您可单击自动生成输出名

      重要

      系统使用输出名构建调度依赖图,系统将自动生成输出名,不建议人工干预设置。

      image..png

  4. 单击确定,即可完成调度依赖配置。

附录:跨周期依赖默认策略

本节点调度周期

上游节点

上游节点调度周期

上游节点是否自依赖

默认依赖周期

本节点(自依赖)

-



上周期(前 1 日)

本节点(自依赖)

-



上周期(前 1 日)

本节点(自依赖)

-



上周期(前 1 日)

小时

本节点(自依赖)

-



最近 24 小时

分钟

本节点(自依赖)

-



最近 24 小时

日/周/月

非本节点



本周期(当日)

日/周/月

非本节点

小时/分钟

本周期(当日)

日/周/月

非本节点

小时/分钟

本周期(当日)

月/周/日/小时/分钟

非本节点

月/周

本周期(当日)

月/周/日/小时/分钟

非本节点

本周期(当日)

月/周/日/小时/分钟

非本节点

本周期(当日)

小时/分钟

非本节点



本周期(当日)

小时/分钟

非本节点

小时/分钟



本周期(当日)

  • 本页导读 (0)