数据管理DMS提供跨库SQL、单实例SQL、脚本代码、条件分支、单实例SQL赋值等任务类型。通过编排各类任务,实现复杂的任务调度,提高数据开发效率。

任务类型 描述 配置项
跨库SQL 基于跨实例DSQL引擎,跨库SQL节点可用于跨实例的分析,小数据量的数据迁移。
  • 元数据配置
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • SQL语句输入
单实例SQL 单实例SQL节点可将SQL语句发放到指定的关系型数据库上并执行。
  • 数据库选择
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • SQL语句输入
脚本代码 脚本代码节点可用于创建基于数据库网关DG的脚本任务。
  • 变量设置
    • 可选:节点变量
    • 可选:任务流变量
    • 可选:输入变量
    • 输出变量
  • 脚本配置
关于脚本代码节点的使用,请参见创建脚本任务
稽核任务 稽核任务用于检查数据质量,设置质量规则和调度周期后,自动检查数据质量并生成报告。
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • 质量规则配置
DLA Spark SQL DLA Spark SQL节点可通过SQL的方式,提交作业到DLA Spark集群。
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • 基础配置
  • 作业配置
DLA Serverless Spark DLA Serverless Spark节点可用于配置Serverless Spark作业。更多信息,请参见创建和执行Spark作业
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • 基础配置
  • 作业配置
条件分支 条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。
  • 可选:输入变量
  • 条件表达式配置
关于条件分支节点的配置,请参见配置条件分支节点
单实例SQL赋值 单实例SQL赋值节点可以将SELECT语句读取的数据赋值给该节点的输出变量,输出变量可以在下一节点中作为输入变量被使用。
  • 数据库选择
  • 变量设置
    • 可选:节点变量
    • 可选:任务流变量
    • 可选:输入变量
    • 输出变量
  • SQL语句输入
关于单实例SQL赋值节点的配置,请参见配置SQL赋值节点
Lindorm文件检查 Lindorm文件检查节点可用于检查Lindorm HDFS下某个文件是否存在。
  • 可选:变量设置
    • 节点变量
    • 任务流变量
    • 输入变量
  • Lindorm文件引擎配置

常见配置项的配置

  • 数据库选择。选中画布中的目标节点,在节点信息页签下方的下拉框中,搜索并选择数据库。
    说明
    • 您需要具备所选数据库的相应权限。如需申请权限,请参见申请权限
      • 在单实例SQL节点中,您需要具备数据库的变更权限。
      • 在单实例SQL赋值节点中,您需要具备数据库的查询权限。
    • 您可以单击数据库下方的元数据页签,查看该数据库中表的结构。
  • 节点变量配置。选中画布中的目标节点,单击节点变量页签,配置节点变量。具体配置,请参见配置时间变量
    说明 单击变量设置区域右上角的提示,查看变量配置的提示信息。
  • 任务流变量配置。选中画布中的目标节点,单击任务流变量页签,配置任务流变量。具体配置,请参见配置时间变量
    说明
    • 单击变量设置区域右上角的提示,查看变量配置的提示信息。
    • 您可以在任务流的任一任务类型节点中设置任务流变量,其他节点会自动同步任务流变量的设置。
  • 输入变量查看。选中画布中的目标节点,单击输入变量页签,查看输入变量。
    说明
    • 输入变量来自于上游节点的输出变量,是系统自动获取的,不需要配置。
    • 关于变量的更多信息,请参见变量概述
  • SQL语句输入。选中画布中的目标节点,在SQL区域,编写SQL语句。
    说明 SQL语句要符合目标数据库的SQL语法。
    • SQL预览:您可以在编写SQL代码的过程中,随时单击SQL预览,预览SQL代码。
    • 有效性检查:编写完SQL代码后,单击有效性检查,检查SQL代码的有效性。
    • 保存:编写完SQL代码后,单击保存,保存SQL代码。