阿里云首页 数据资源平台

数据传输节点

数据传输节点可作为两个节点间的中间传输节点。本节介绍数据传输节点的各属性配置。

节点属性

数据传输节点关键参数说明如下:

区域

配置项

说明

节点属性

Node Code

节点的唯一标识,同一场景中不可重复,不可更改,由系统自动生成。

Node Name

节点的名称,支持自定义。

配置数据同步关系

设置源表列和目标表列的同步字段。

运行配置

运行属性用于设置数据传输节点的云计算资源类型和输入输出链路,示例关键参数说明如下:

区域

配置项

说明

高级设置

(可选)设置后,可查看当前公共节点的所属的测试资源组和线上资源组,资源组即按照资源维度区分当前的场景,详细设置方法请至系统设置 > 资源组管理中设置。

节点输入

输入code

节点的输入参数code。

云计算资源类型

传输链路输出端的云计算资源类型。

支持MaxCompute、ApsaraDB for RDS、MonogoDB、Hive、Datahub Service和AnalyticDB PostgreSQL。

数据表

该计算资源中提供数据的数据表名称。保证输入的模型与上游节点的输出数据模型相同。

节点输出

输出code

节点的输出参数code。

云计算资源类型

传输链路输出端的云计算资源类型。可选值与输入端云计算资源类型的取值有关。

输入云计算资源类型取值与输出云计算资源类型取值对应关系如下:

  • MaxCompute:MaxCompute、ApsaraDB for RDS、Table Store、PostgreSQL、AnalyticDB PostgreSQL、Elasticsearch、Hologres。

  • ApsaraDB for RDS:MaxCompute、PostgreSQL、AnalyticDB PostgreSQL。

  • Datahub Service: MaxCompute、ApsaraDB for RDS、AnalyticDB MySQL

  • MongoDB:MaxCompute。

  • Hive:MaxCompute、ApsaraDB for RDS、Hbase、Phoenix。

  • AnalyticDB PostgreSQL:MaxCompute

数据表

该计算资源中输出数据的数据表名称。保证节点输出的模型与下游节点的输入数据模型相同。

自定义输出

单击开关1,打开自定义开关以后,您可自定义选择通胀表不同资源下已物理化后的物理表。

云计算资源

测试场景资源:用于在测试环境中运行该节点。

线上场景资源,用于在线上环境中运行该节点。

物理表名

已物理化至资源库中的物理表。

调度配置

调度配置属性用于设置数据传输节点线上场景的调度周期等参数,示例关键参数说明如下:

区域

配置项

说明

调度配置

定时调度

定时调度只在线上场景生效。包含以下配置:

  • 依赖本节点上一周期调度:可勾选。

  • 生成实例方式:T+1次日生成和发布后即时生成。

  • 生效日期:自定义。

  • 调度周期:支持月、周、天、小时和分钟。

  • 具体时间:客户自定义。

Reader插件参数

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,会显示当前参数。

  • 是否为增量同步:当选择,表示全量覆盖同步,选择,则增量同步。

  • where查询条件:过滤条件,例如输入ID>12,表示将ID的值大于12的数据传输至目标路径。

Writer插件参数

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,会显示当前参数。

清空写入表/分区:当开关 显示否时,表示不清空。