实时模式依赖关系配置

配置实时任务的依赖关系,可帮助您排查调试时快速了解数据的上下游任务。本文将为您介绍如何配置实时模式的依赖关系。

操作步骤

  1. 请参见实时模式配置入口,进入实时任务的实时模式配置页面。

  2. 在配置面板中依赖关系区域,配置任务实时模式的依赖关系信息。

    重要
    • 实时模式下,依赖关系不实际产生调度依赖

    • 离线模式下,则须配置调度依赖。

    image

    参数

    描述

    开始解析

    当节点的任务类型为SQL时,您可以单击开始解析,系统会解析代码中的表,并查找到与该表名相同的输出名称。输出名称所在的节点作为当前节点的上游依赖。

    如果代码中引用项目变量或不指定项目,则系统默认解析为生产项目名,以保证生成调度的稳定性。例如,开发项目名称为onedata_dev

    • 如果代码里指定select * from s_order,则调度解析依赖为onedata.s_order

    • 如果代码里指定select * from ${onedata}.s_order,则调度解析依赖为onedata.s_order

    • 如果代码里指定select * from onedata.s_order,则调度解析依赖为onedata.s_order

    • 如果代码里指定select * from onedata_dev.s_order,则调度解析依赖为onedata_dev.s_order

    上游依赖

    通过执行如下操作,添加该节点任务调度时依赖的上游节点:

    1. 单击手动添加上游

    2. 新建上游依赖对话框中,您可以通过以下两种方式搜索依赖节点:

      • 输入所依赖节点的输出名称的关键字进行搜索节点。

      • 输入virtual搜索虚拟节点(每个租户或企业在初始化时都会有一个根节点)。

      说明

      节点的输出名称是全局唯一的,且不区分大小写。

    3. 单击确定新增

    同时您还可以单击操作列下的fagaga图标,删除已添加的依赖节点。

    当前节点

    通过执行如下操作,设置当前节点的输出名称,根据需要您可以设置多个输出名称,供其他节点依赖使用:

    1. 单击手动添加输出

    2. 新增当前节点输出对话框中,填写输出名称。输出名称的命名规则请尽量统一,一般命名规则为生成项目名.表名且不区分大小写,以标识本节点产出的表,同时其他节点更好地选择调度依赖关系。

      例如,开发项目名称为onedata_dev,建议将输出名称设置为onedata.s_order。如果您将输出名称设置为onedata_dev.s_order,则仅限代码select * from onedata_dev.s_order能解析出上游依赖节点。

    3. 单击确定新增

    同时您还可以对当前节点已添加的输出名称执行如下操作:

    • 单击操作列下的fagaga图标,删除已添加的输出名称。

    • 如果该节点已提交或已发布,且被任务所依赖(任务已提交),则单击操作列下的图标,查看下游节点。

  3. 单击确定,完成实时模式的依赖关系配置。