在数据管理DMS数据编排中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。

  1. 登录DMS数据管理服务
  2. 在顶部导航栏,选择传输与加工(DTS)
  3. 在左侧导航栏,选择数据编排
  4. 单击数据流名称,进入数据流详情页面。
  5. 配置数据输入节点。
    说明 数据流的第一个节点必须是数据输入,为数据流提供数据源。
    1. 在左侧任务类型列表中,拖拽数据输入节点到画布空白区域。
    2. 选中数据输入节点,在页面下方的数据来源页签中配置数据源。
      数据输入
      配置项 操作
      数据库类型 选择源数据库的类型。
      数据库
      1. 输入并选择数据流读取数据的源数据库。
      2. 在弹出的登录实例对话框中,输入数据库账号数据库密码
      选择数据流读取数据的源表。
  6. 以过滤源表数据为例,配置数据处理节点。
    说明数据输入数据输出外,其他任务类型均可作为数据处理节点。
    1. 在左侧任务类型列表中,拖拽数据过滤节点到画布的空白区域。
    2. 将鼠标放在数据输入节点上,单击节点左侧出现的空心圆点并拉出连接线,连接至数据过滤节点上。
      连接节点
    3. 选中数据过滤节点,在页面下方的数据过滤页签中配置数据过滤条件表达式
      过滤
      说明 您可以直接在输入框中输入过滤条件,也可以双击右侧的函数辅助编写。
  7. 配置数据输出节点。
    说明 数据流的最后一个节点必须是数据输出,提供处理后的数据要写入的目标表。
    1. 在左侧任务类型列表中,拖拽数据输出节点到画布的空白区域。
    2. 选中数据输出节点,在页面下方的数据输出页签中配置数据输出表。
      配置项 描述
      数据库 选择数据流输出数据的目标数据库。
      表名 选择或输入数据流输出数据的目标表。
      说明 如果表不存在,在执行时会自动创建表。
      是否先删除表
      • 开关关闭:不删除目标表。
      • 开关打开:删除目标表,在执行数据流时自动创建表。
      是否先清空表
      • 开关关闭:不清空目标表里的数据。
      • 开关打开:清空目标表里的数据。
      写入方式 两种写入方式可选:
      • INSERT:将数据追加到表的末尾。
      • INSERT OVERWRITE:覆盖之前的数据。
    3. 将鼠标放在数据过滤节点上,单击节点左侧出现的空心圆点并拉出连接线,连接至数据输出节点上。
      此时,节点右侧的!自动消失,表示数据流的节点上下游依赖完整。