同步节点

更新时间:

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。

节点属性

节点属性用于设置同步节点的基本信息,关键参数说明如下:

参数

说明

节点名称

节点的名称,支持用户自定义。

节点标识

节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

节点目录

选择节点的所属目录。

节点描述

自定义节点的描述信息。

运行配置

运行配置用于设置同步节点的云计算资源类型和输入输出链路,关键参数说明如下:

参数

说明

同步资源

源端配置

开发数据源

开发环境中传输链路输入端的云计算资源类型和资源。

逻辑表

输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

  • 当选择数据表时,。

  • 当选择星号(*)时,表示数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

开发数据表

开发环境中源端输入的物理表,在下拉列表中选择。

生产数据源

生产环境中使用源端输入的物理表所在资源。

生产数据表

生产环境中源端输入的物理表,在下拉列表中选择。

同步模式

  • 当选择全量,表示全量覆盖同步。

  • 当选择增量,则增量同步。

增量字段

当选择增量时,需同步选择需要同步的增量字段。

自定义条件

过滤条件,例如输入ID>12,表示将ID的值大于12的数据传输至目标路径。

说明

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。

目标端配置

开发目标端

开发环境中传输链路输出端的云计算资源类型。

逻辑表

输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

  • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

  • 当选择星号(*)时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。

开发数据表

开发环境中目标端输出的物理表,在下拉列表中选择。

生产目标端

生产环境中使用目标端输出的物理表所在资源。

生产数据表

生产环境中目标端输出使用的物理表。

分区字段

当选择的物理表是分区表时,会自动识别出分区字段,并展示出来,用于设置分区的值。

写入处理规则

  • 当选中写入前清理已有数据,则写入目标数据表数据时,会清空当前表已有数据。

  • 当选中保留已有数据,则写入目标数据表数据时,会保留当前表已有数据。

说明

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。

字段映射

同名映射

单击同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。

同行映射

单击同行映射,则数据传输时,源端和目标端表的同行字段映射。

取消映射

取消设置的字段映射关系。

通用参数

依赖配置

当同步节点存在依赖关系时,打开依赖配置的image..png开关,单击右侧的添加依赖节点,设置依赖节点的信息。

  • 所属工作组:该依赖节点的所属工作区。

  • 节点名称:该依赖节点的名称。

  • 操作:当不需要该依赖节点的时候支持删除。

表结构变化

当选中开启检测复选框后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

开发资源组

测试时使用的资源组,支持选择用户自有的资源。

生产资源组

正式环境使用的资源组,支持选择用户自有的资源。

资源规格

VCPU(核)

CPU配置,根据实际填写。

内存(M)

内存配置,可根据实际配置。

速率

字节/秒

每个通道每秒传输的字节上限。

记录/条

每个通道每秒传输的记录数上限。

调度配置

调度配置属性作用于同步节点生产环境场景的调度周期和告警等参数,关键参数说明如下:

参数

说明

周期调度

依赖本节点上一周期调度

选中后,则本次的调度依赖本节点上一周期调度的结果。

生效日期

该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。

  • 其中日期的选择,支持选择当天及以后的日期。

  • 如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划

调度周期

支持按月、周、天、小时和分钟调度。

具体时间

根据选择的周期客户自定义具体开始和结束的时间。

时间表达式

根据上述的设置,自动生成时间表达式或者支持手动设置时间表达式。

失败重试

重试次数

单击失败重试后的告警配置开关,设置生产环境场景运行失败后重新运行的次数。

重试间隔

设置每两次重试之间的间隔时间。

超时时间

重新运行的超时时间设置,即超过这个时间则重新运行一次。

监控配置

负责人

告警接收负责人。默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员

告警分组

告警的组别分类。下拉选择已创建的分组,具体操作,请参见新建告警分组

告警级别

告警的级别,分为异常和超时等。