本文为您介绍如何配置、复制、删除ADB for PostgreSQL及如何选择数据的发送方式。

背景信息

ADB for PostgreSQL输入组件适用于从ADB for PostgreSQL数据库中读取数据至Dataphin平台,进行数据的整合和再加工的场景。

配置属性

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 执行以下操作,创建离线单条管道。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 可选:在数据开发页面,选择项目空间。
      执行以下操作,选择DevBasic项目:
      1. 单击项目名称后的test图标。
      2. 在下拉列表中,单击DevBasic页签,选择DevBasic项目。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则无需选择项目空间。
    3. 在数据开发页面,鼠标悬停至顶部菜单栏的开发上,单击集成
    4. 在数据集成页面,鼠标悬停至脚本后的ddd图标,单击离线单条管道sss
    5. 创建管道开发脚本对话框中,配置参数。
      ddd
      参数 描述
      管道名称 填写管道名称。
      调度类型 选择管道的调度类型。调度类型包括:
      • 周期性节点指需定期执行的任务。
      • 手动节点指没有依赖关系,需手动触发的任务。
      描述 填写对离线单条管道的简单描述。
      选择目录 选择离线单条管道所在的文件夹。
    6. 单击确定,完成离线单条管道的创建。
  4. 在离线单条管道脚本的开发页面,单击页面右上角的组件库
    ddd
  5. 单击输入前的dgd图标。
  6. ADB for PostgreSQL组件拖到左侧的管道画布中。
  7. 将鼠标放置在ADB for PostgreSQL组件框内右键单击,选择属性配置
  8. 根据ADB for PostgreSQL输入配置对话框提示,配置参数。
    faga
    参数 说明
    步骤名称 根据当前组件的使用场景,填写名称。
    数据源 选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:
    • 数据源类型与输入组件的类型一致。
    • 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限
    同时您可以单击数据源后的dfag图标,进入规划模块添加数据源,详细内容请参见新建AnalyticDB for PostgreSQL数据源
    来源表量 选择来源表量。来源表量包括单表多表
    说明 多表指多张具有相同表结构的表。
    选择来源表。根据选择来源表量的类型,选择表:
    • 如果来源表量选择了单表,则单击geg图标,选择输入的
    • 如果来源表选择了多表,则在后的输入框中填写表达式。
    切分建 选择切分建。您可以将源数据表中某一列作为切分键,建议使用主键或有索引的列作为切分键。
    输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}输入过滤适用于以下两种场景:
    • 固定的某一部分数据。
    • 参数过滤。
    输出字段 根据左侧页面的输入配置,为您展示输出的字段。您也可以通过如下操作管理字段:
    • 单击操作列下的sgaga图标,删除多余的字段。
    • 单击字段管理,在字段管理页面中查看该表未选的输入字段已选的输入字段
      • 选择某个字段后,单击gege图标,将未选的输入字段移入到已选的输入字段
      • 选择某个字段后,单击sfsga图标,将已选的输入字段移入到未选的输入字段
      geg
  9. 单击确认,完成ADB for PostgreSQL输入组件的属性配置。

复制ADB for PostgreSQL

  1. 将鼠标放置在ADB for PostgreSQL组件框内右键单击,单击复制
  2. 在管道画布中右键单击后,选择粘贴,完成ADB for PostgreSQL输入组件的复制。

删除ADB for PostgreSQL

  1. 将鼠标放置在ADB for PostgreSQL组件框内右键单击,单击删除
  2. 在确认弹框中单击确定,完成ADB for PostgreSQL输入组件的删除。

选择数据的发送方式

当输入组件在连接多个下游组件时,需要选择输入组件的数据发送到下游节点的方式。

  1. 将鼠标放置在ADB for PostgreSQL组件框内右键单击,单击数据发送方式
  2. 选择数据发送的方式。
    数据发送方式包括:
    • 复制:上游节点的数据根据下游节点数量进行等份复制,且每个下游节点的数据都是上游节点的全部数据。
    • 轮流分发:上游节点的数据根据下游节点数量进行轮流分发,且所有下游节点的数据之和等于上游节点的数据。