本文为您汇总了各类型节点的自动解析配置原则,以及不支持自动解析的场景,您可根据业务需求使用。

自动解析的配置原则

各类型节点的自动解析配置原则如下表。
节点类型代码命令自动解析调度依赖配置规则
ODPS节点
  • CREATE
  • INSERT
当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。为节点自动添加的本节点输出命名规则为odps_project_name.table_name。其中:
  • odps_project_name:为当前节点所在的DataWorks项目名称。
  • table_name:为对应命令后的表名称。
SELECT当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:
  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。
  • table_name:SELECT语句中from命令后的表名称。
非ODPS的SQL节点
  • CREATE
  • INSERT
  • ALTER
  • UPDATE
当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。各类型节点自动添加的本节点输出命名规则为:
  • EMR:workspace_name.db_name.table_name
  • ADBPG:workspace_name.db_name.schema_name.table_name
  • ADBMySQL:workspace_name.db_name.schema_name.table_name
  • Hologres:workspace_name.db_name.schema_name.table_name
其中:
  • workspace_name:为当前节点所在的DataWorks项目名称。
  • db_name:为当前节点所在的数据库名称。
  • schema_name:为当前节点的schema名称。
  • table_name:为输出命令后的表名称。
SELECT当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:
  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。
  • table_name:SELECT语句中from命令后的表名称。
离线同步节点离线同步节点不支持自动解析,需手动添加节点的调度依赖配置。

不支持自动解析的场景

如下情况不支持自动解析:
  • 部分节点可能暂不支持自动解析,节点是否支持自动解析请以实际界面为准。

    例如:离线节点、AnalyticDB for PostgreSQL节点等不支持通过自动解析添加节点的调度依赖,这类节点的产出表需要手动添加为本节点的输出。

  • SQL代码中的临时表(例如,在工作空间配置中指定t_开头的表为临时表)不支持自动解析,不会被自动解析为本节点的输出或依赖的上游节点。
  • 当同步任务产出一张表时,需手动将该表添加为节点的输出,格式为projectname.tablename。以便下游节点对该表进行数据清洗时,可通过自动解析快速设置节点依赖关系。