本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。

背景信息

ETL支持的转换组件如下:
  • 表JOIN
  • 字段计算器
  • 表记录过滤

使用限制

ETL支持的转换组件存在如下限制:
  • 表JOIN:仅支持两个表之间做JOIN操作。
  • 字段计算器表记录过滤:仅支持单个表结构。

前提条件

已完成数据源信息的配置。

配置表JOIN

  1. 进入ETL任务的列表页面。
    1. 登录DMS数据管理服务
    2. 在顶部菜单栏中,单击集成与开发(DTS)
    3. 在左侧导航栏,选择数据集成 > 流式ETL
    说明 您也可以在DTS控制台的ETL页面,单击去DMS创建流式任务
  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG
  3. 单击确认
  4. 完成数据源信息的配置,配置方法请参见配置源库信息
  5. 在页面左侧,将表 Join节点拖拽至页面右侧画布的空白区域。
  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表 Join-1
  7. 单击画布区域的表 Join-1,根据页面信息配置转换组件。
    1. 节点配置页签,设置以下参数,配置节点信息。
      表JOIN_节点配置
      区域 参数 说明
      转换名称 请输入转换名称 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      Join配置 Join类型符左边的表 选择放置在Join类型符左边的表。
      时态Join时间属性 选择Join的时间属性,默认为Join。
      • 基于事件时间Watermark
      • 基于处理时间ProcTime
      说明 时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。
      选择Join操作 选择Join操作方式。
      • Inner Join:数据为两张表的交集。
      • Left Join:左表中的数据不变,右表中的数据为两张表的交集。
      • Right Join:左表中的数据为两张表的交集,右表中的数据不变。
      Join条件 +新增条件 单击+新增条件,从多个数据源中选择Join的条件字段。
      说明 等号(=)左侧为数据源左表字段,右侧为数据源右表字段。
    2. 完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。

配置字段计算器

  1. 进入ETL任务的列表页面。
    1. 登录DMS数据管理服务
    2. 在顶部菜单栏中,单击集成与开发(DTS)
    3. 在左侧导航栏,选择数据集成 > 流式ETL
    说明 您也可以在DTS控制台的ETL页面,单击去DMS创建流式任务
  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG
  3. 单击确认
  4. 完成数据源信息的配置,配置方法请参见配置源库信息
  5. 在页面左侧,将字段计算器节点拖拽至页面右侧画布的空白区域。
  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器-1
  7. 在页面右侧区域,单击字段计算器
  8. 单击画布区域的字段计算器-1,设置以下参数,配置转换组件。
    字段计算器_节点配置
    1. 转换名称区域,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. 计算器配置区域,单击+新增字段
    3. 在计算器配置列表中,单击新增字段所在行操作列的计算配置
    4. 取值配置区域,设置以下参数。
      参数 说明
      字段名 DTS会自动生成一个名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
      选择ETL数据类型 选择需要的ETL数据类型。
      目标字段:字段名,取值配置 选择以下任意一种方式为目标字段配置计算方法。
      • 直接输入需要的计算方法。
      • 单击字段输入函数集操作符区域中的选项配置计算方法。

配置表记录过滤

  1. 进入ETL任务的列表页面。
    1. 登录DMS数据管理服务
    2. 在顶部菜单栏中,单击集成与开发(DTS)
    3. 在左侧导航栏,选择数据集成 > 流式ETL
    说明 您也可以在DTS控制台的ETL页面,单击去DMS创建流式任务
  2. 单击左上角的新增数据流,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式DAG
  3. 单击确认
  4. 完成数据源信息的配置,配置方法请参见配置源库信息
  5. 在页面左侧,将表记录过滤节点拖拽至页面右侧画布的空白区域。
  6. 将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤
  7. 单击画布区域的表记录过滤-1,根据页面信息配置转换组件。
    表记录过滤_节点配置
    1. 转换名称右侧,输入转换名称。
      说明 建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
    2. where条件区域,您可以选择以下任意一种方法配置where条件。
      • 直接输入需要的where条件。
      • 单击右侧字段输入操作符区域中的选项配置where条件。

执行结果

完成配置的转换组件右侧不显示配置源库信息_感叹号时,说明配置完成。

后续步骤

配置目标库信息