配置离线管道调度依赖

Dataphin通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。

操作步骤

  1. 请参见,进入离线集成任务属性面板。

  2. 调度依赖区域,配置集成任务调度依赖参数。

    image..png
    1. 上游依赖

      • 自动解析

        集成任务上游依赖,您可以单击自动解析,Dataphin将根据集成任务自动解析获取上游任务和输出表。解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息,请参见自动解析流程

        说明
        • 自动解析出的输入表如果存在多个产出任务, 默认将所有产出任务作为上游依赖。

        • 解析出的所有依赖表,依赖周期默认为本周期

      • 添加根节点

        若任务无对应上游依赖时,您可单击添加根节点作为当前任务的上游依赖

        说明

        每个租户或企业在初始化时都会有一个以virtual_root_node开头的虚拟根节点。

      • 添加本节点上周期

        即该节点任务的调度需要依赖于本节点上一周期(前1天或前n小时)运行成功。

      • 添加依赖

        自动解析无法解析出调度依赖关系或自动解析生成的上游依赖配置与实际应用不符时,您可手动单击+添加依赖添加节点的上游依赖。

        • 添加物理-节点依赖

          image..png

          区域

          描述

          搜索与筛选区

          您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的物理表节点。支持的筛选条件包括本项目项目节点类型以及输入节点名称输出表名进行筛选。

          节点列表

          节点列表为您展示可依赖的物理节点,您可根据您的需求进行选择。

          依赖周期

          支持依赖本周期上周期

          • 本周期:即节点任务的调度依赖于所选节点本周期的运行成功。

          • 上周期:即节点任务的调度依赖于所选节点的上一周期((前 1 天或前 n 小时)运行成功。

        • 添加依赖-逻辑表节点

          image..png

          区域

          描述

          搜索与筛选区

          您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的逻辑表节点。支持的筛选条件包括逻辑表类型所属的板块以及输入逻辑表名进行筛选。

          节点列表

          节点列表为您展示可依赖的逻辑表节点,您可根据您的需求进行选择。

          若您需依赖逻辑表中某些字段,非整个逻辑表。您可在节点列表的依赖字段栏单击image..png可查看逻辑表所拥有的表字段,您可根据您的需求进行选择。如下图所示:

          image..png

          依赖周期

          支持依赖本周期上周期

          • 本周期:即节点任务的调度依赖于所选节点本周期的运行成功。

          • 上周期:即节点任务的调度依赖于所选节点的上一周期(前1天或前n小时)运行成功。

    2. 本节点输出

      系统将为您所创建的节点自动生成输出名,若您需添加多个输出名,您可单击自动生成输出名

      重要

      系统使用输出名构建调度依赖图,系统将自动生成输出名,不建议人工干预设置。

      image..png
  3. 单击保存