调度配置用于配置逻辑表和事实逻辑表任务节点,在生产环境调度的参数配置及调度依赖。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度信息。

步骤一:配置逻辑表任务的调度参数

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击顶部菜单栏的研发
    默认进入数据开发页面。
  4. 在数据开发页面,按照下图操作指引,进入配置调度信息页面。
    gagaga①区域选择规范建模研发的项目空间,如果您选择了Dev-Prod模式的项目空间,则需要在区域②选择为Dev
  5. 基本信息区域,配置逻辑表任务调度的参数。
    gagaga参数配置用于定义逻辑表任务调度的参数。例如,定义了${bizdate}=20210610,则系统调度任务时业务日期为20210610。您可以单击节点参数配置说明,查看配置规则。

步骤二:配置调度属性

根据业务场景选择本周期节点的运行,是否需要依赖上一周期本节点或其他节点的运行结果。

调度配置页面,配置调度周期区域的参数。
gagag
编号 描述
选择节点类型。系统支持选择自定义本逻辑表内节点。适用场景说明如下:
  • 本周期节点是否运行取决于上一周期本节点是否正常产出数据,则需要选择本逻辑表内节点。只有上一周期本节点或自定义节点运行成功,才会启动运行本节点。
  • 逻辑表没有用到某个节点的产出表,但业务上需要依赖该节点的上一周期是否正常产出数据,则需要选择依赖自定义节点。
  • 如果节点类型选择为自定义,则执行以下操作,选择依赖字段:
    1. 单击节点ID显示框区域。
    2. 在节点ID列表中,选择节点ID。

      您也可以在下拉列表的输入框中,输入节点ID的关键字,快速搜索节点。

    3. 单击依赖字段显示框区域,在下拉列表中,选中依赖字段。

      您可以在下拉列表中的输入框中,输入字段名称关键字,快速查找字段。如果所有字段需要依赖,则选中全选

    4. 单击确定
  • 如果节点类型选择为本逻辑表内节点,则执行以下操作,选择依赖字段:
    1. 单击依赖字段显示框区域,在下拉列表中,选中依赖字段。

      您可以在下拉列表中的输入框中,输入字段名称关键字,快速查找字段。如果所有字段需要依赖,则选中全选

    2. 单击确定
您可以单击fagag图标,添加多个依赖节点。

步骤三:配置调度依赖

上游依赖定义了业务流程之间的调度依赖关系。正确的调度依赖关系可以保障业务数据有效的产出。正确的依赖关系配置后,无需关心当前节点依赖的数据表是否正常产出数据,是否影响该节点的运行,系统会自动为您解析任务节点间的关联关系。
  • 依赖关系是两个或多个节点之间的调度依赖关系,控制节点运行顺序。同时上游节点的状态将影响其他下游节点的运行状态。
  • 配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。其次,根据节点设定的调度时间判断是否执行调度。
  • 您在设定的调度时间之前提交的调度配置,会在设定的调度时间之后生效。而在设定的调度时间之后配置的依赖关系,只能间隔一天再生成实例。
  1. 请参见步骤一:配置逻辑表任务的调度参数,进入调度配置页面。
  2. 调度配置页面,配置调度依赖区域的参数。
    调度依赖默认开启自动解析,系统自动解析该逻辑表的物化代码中依赖关系。同时,您也可以手动添加上游依赖的物理节点和逻辑表节点。gagaga
    分区 描述
    自动解析依赖 系统根据配置的来源主表的类型进行自动解析:
    • 如果来源主表的类型为物理表,则Dataphin仅支持自动解析出上游依赖的物理节点。能成功解析出依赖的物理节点需要满以下两个条件:
      • Dataphin内已有基于来源主表生成的周期任务。
      • 周期任务的节点输出名称格式为项目名.表名
    • 如果来源主表的类型为逻辑表,即可将依赖的逻辑表节点对应的字段添加为上游依赖。
    上游依赖 为您展现该逻辑表所依赖的物理节点和逻辑表节点。 您也可以手动添加上游依赖的物理节点,适用场景说明如下:
    • 需要将非来源主表的任务节点,添加为逻辑表的上游依赖节点。
    • 节点输出名称的格式不是项目名.表名
    注意 上游依赖的逻辑表节点,不支持手动添加。
    手动添加上游依赖的物理节点,操作说明如下:
    1. 单击新增上游依赖
    2. 新建上游依赖对话框中,输入所依赖节点的输出名称的关键字进行搜索节点。
      说明 节点的输出名称是全局唯一的,且不区分大小写。
    3. 单击确定新增
    逻辑表节点(本节点) 逻辑表节点的输出名称由系统自动生成。
  3. 单击确定,完成任务的调度配置。
  4. 提交和发布逻辑表。
    1. 按照下图操作指引,提交逻辑表。
      gagaga
    2. 如果项目空间的模式为Dev-Prod,则需要发布逻辑表至生产环境。如何发布,请参见管理发布任务
      发布至生产环境的逻辑表任务,即可参与生产环境的调度运维。更多信息,请参见逻辑表任务