本文为您介绍如何配置、复制、删除PolarDB输入组件及如何选择数据的发送方式。

背景信息

PolarDB输入组件适用于从PolarDB中读取数据至Dataphin平台,进行数据的整合和再加工的场景。

配置属性

  1. 在离线单条管道脚本的开发页面,单击页面右上角的组件库
  2. 单击输入前的dgd图标。
  3. PolarDB组件拖到左侧的管道画布中。
  4. 鼠标悬停至PolarDB组件框内右键单击,选择属性配置
  5. PolarDB输入配置对话框,配置参数。
    参数 说明
    步骤名称 根据当前组件的使用场景,填写名称。
    数据源 选择Dataphin系统中已配置的数据源,且需同时具备以下两个条件:
    • 数据源类型与输入组件的类型一致。
    • 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限
    同时您可以单击数据源后的dfag图标,添加数据源,详情请参见新建PolarDB数据源
    来源表量 选择来源表量。来源表量包括单表多表
    选择来源表。
    如果您选择了多表,则执行以下操作添加表:
    1. 在输入框中,输入表的表达式。

      系统支持枚举形式、类正则形式及两者混合形式,例如table_[001-100];table_102

    2. 单击gega图标,检测表是否存在。
    3. 确认匹配详情对话框中,选择匹配的表。
    4. 单击确认
    说明 多表指多张具有相同表结构的表。
    切分键 选择切分建。您可以将源数据表中某一列作为切分键,建议使用主键或有索引的列作为切分键。
    输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}输入过滤适用于以下两种场景:
    • 固定的某一部分数据。
    • 参数过滤。
    输出字段 根据页面左侧的输入配置,为您展示输出的字段。您也可以通过如下操作管理字段:
    • 单击操作列下的sgaga图标,删除多余的字段。
    • 单击字段管理,在字段管理页面中查看该表未选的输入字段已选的输入字段
      • 选择某个字段后,单击gege图标,将未选的输入字段移入到已选的输入字段
      • 选择某个字段后,单击sfsga图标,将已选的输入字段移入到未选的输入字段
  6. 单击确认,完成PolarDB输入组件的属性配置。

复制PolarDB输入组件

  1. 鼠标悬停至PolarDB组件框内右键单击,单击复制
  2. 在管道画布中右键单击后,选择粘贴,完成PolarDB输入组件的复制。

删除PolarDB输入组件

  1. 鼠标悬停至PolarDB组件框内右键单击,单击删除
  2. 在确认弹框中单击确定,完成PolarDB输入组件的删除。

设置PolarDB输入组件数据的发送方式

当输入组件在连接多个下游组件时,需要选择输入组件的数据发送到下游节点的方式。

  1. 鼠标悬停至PolarDB输入组件框内右键单击,单击数据发送方式
  2. 选择数据发送的方式。
    根据业务场景,您可以选择复制轮流分发
    • 复制:上游节点的数据根据下游节点数量进行等份复制,且每个下游节点的数据都是上游节点的全部数据。
    • 轮流分发:上游节点的数据根据下游节点数量进行轮流分发,且所有下游节点的数据之和等于上游节点的数据。
  3. 单击确定,完成设置PolarDB输入组件数据的发送方式。