集成组件库开发说明

前提条件

已完成离线管道脚本的创建。在进行离线管道开发前数据集成前，您需要创建对应的管道开发脚本。详情请参见：通过单条管道创建集成任务。

离线管道组件开发入口

1. 在Dataphin首页，单击顶部菜单栏研发。默认进入数据开发页面。

2. 按照下图操作指引，选择您所需开发的离线管道进入离线管道开发页面。

离线组件库开发说明

一般的，一个完整的离线管道由输入（>=1个）、转换（>=0个）、流程（>=0个）及输出（>=1个）组件组成。

在离线单条管道脚本的开发页面，单击页面右上角的组件库，将展示Dataphin支持的输入、转换、流程、输出、自定义组件。

输入组件

原数据的来源，您可根据您的业务数据类型选择对应的组件拖动到左侧的管道画布用于数据输入。各输入组件功能详情请参见：各组件配置详情。

• 输入组件不支持有上游节点。

• 输入下游节点可以是转换、输出、流程。

• 如果输入组件有多个下游节点（输出或转换），则组件连接时需选择输入组件的数据发送方式。

  • 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。

  • 轮流分发：上游节点的数据根据下游节点数量进行轮流分发，且所有下游节点的数据之和等于上游节点的数据。

输出组件

数据来源集成的目标数据。您可根据您的业务需求，选择对应的输出组件并拖动到左侧的管道画布用于数据的输出。各输出组件功能详情请参见：各组件配置详情。

输出组件不支持有下游节点。

流程组件

用于数据集成时的流程控制，Dataphin支持限速、条件分发2种流程组件。各流程组件功能详情请参见：各组件配置详情。

• 流程组件不支持作为离线管道的第一个或最后一个节点，但支持放置于管道脚本中间的任意位置。

• 如果流程组件有多个下游节点（转换、输出或流程），则组件连接时需选择输入组件的数据发送方式。

• 如果流程选择条件分发组件，则组件连接时需选择分发的条件：

  

  • 如果您选择条件结果为true，当上游节点的结果为true时，数据向下游发送。

  • 如果您选择条件结果为false，当上游节点的结果为false时，数据向下游发送。

转换组件

可用于将输入组件的来源数据进行转换，如对数据字段进行计算、过滤、加密等。各转换组件功能详情，请参见：各组件配置详情。

转换组件支持有多个下游组件（转换、输出、流程），则组件连接时需选择输入组件的数据发送方式。

有向连接

选取所需的组件后，您可通过有向连接的方式，将上游输入组件指向下游转化、输出组件，形成有向连线。集成任务运行时将根据有向连接依次执行各组件。组件连接时的上下游关系，请参见下表。

更多操作

一个管道画布支持有多个管道脚本同时构建，同时您也可以在管道画布中右键单击执行如下操作。

组件配置说明

Dataphin支持的组件及配置说明请参见下表：

输入组件

输出组件

转换组件

流程组件

自定义组件

如需使用自定义组件，请先新建离线自定义源类型，再数据源管理概述。完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。