数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。
操作步骤
步骤一:登录节点任务设置页面
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工 。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择节点模式。
步骤二:新建节点并设置节点属性参数
在开发环境页签,单击新建节点。
在新建节点对话框,选择同步节点的节点类型,单击确定。
在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称以及节点描述信息。
配置项
说明
节点名称
节点的名称,支持用户自定义。
节点标识
节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。
节点描述
自定义节点的描述信息。
在节点编辑页面,单击图标。
在确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认。
步骤三:设置运行配置参数并运行
单击页面右侧运行配置页签,配置同步资源。
参数
说明
源端配置
开发数据源
开发环境中传输链路输入端的云计算资源类型和资源。
逻辑表
输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。
当选择星号(*)时,表示数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。
开发数据表
开发环境中源端输入的物理表,在下拉列表中选择。
生产数据源
生产环境中使用源端输入的物理表所在资源。
生产数据表
生产环境中源端输入的物理表,在下拉列表中选择。
同步模式
当选择全量,表示全量覆盖同步。
当选择增量,则增量同步。
增量字段
当选择增量时,需同步选择需要同步的增量字段。
自定义条件
过滤条件,例如输入ID>12,表示将ID的值大于12的数据传输至目标路径。
说明仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。
目标端配置
开发目标端
开发环境中传输链路输出端的云计算资源类型。
逻辑表
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。
当选择星号(*)时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。
开发数据表
开发环境中目标端输出的物理表,在下拉列表中选择。
生产目标端
生产环境中使用目标端输出的物理表所在资源。
生产数据表
生产环境中目标端输出使用的物理表。
分区字段
当选择的物理表是分区表时,会自动识别出分区字段,并展示出来,用于设置分区的值。
写入处理规则
当选中写入前清理已有数据,则写入目标数据表数据时,会清空当前表已有数据。
当选中保留已有数据,则写入目标数据表数据时,会保留当前表已有数据。
说明仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。
配置字段映射关系。
参数
说明
同名映射
单击同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。
同行映射
单击同名映射,则数据传输时,源端和目标端表的同行字段映射。
取消映射
取消设置的字段映射关系。
配置通用控制参数。
参数
说明
依赖配置
当同步节点存在依赖关系时,打开依赖配置的开关,单击右侧的添加依赖节点,设置依赖节点的信息。
所属工作组:该依赖节点的所属工作区。
节点名称:该依赖节点的名称。
操作:当不需要该依赖节点的时候支持删除。
表结构变化
当选中开启检测复选框后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。
开发资源组
测试时使用的资源组,支持选择用户自有的资源。
生产资源组
正式环境使用的资源组,支持选择用户自有的资源。
资源规格
VCPU(核)
CPU配置,根据实际填写。
内存(M)
内存配置,可根据实际配置。
速率
字节/秒
每个通道每秒传输的字节上限。
记录/条
每个通道每秒传输的记录数上限。
在节点编辑页面,单击左上角图标。
单击图标,运行数据同步节点。
说明当解析后不存在参数,则单击运行图标后,不会弹出该对话框。
查看运行结果和日志,当日志列结果显示success,则表示数据同步节点运行成功。
步骤四:(条件必选)如果节点需要被周期调度,设置调度信息
用于设置数据同步节点生产场景的调度周期等参数。
设置调度参数。
单击页面右侧调度配置页签,单击定时调度的开关。
根据下表参数配置调度参数。
参数
说明
周期调度
依赖本节点上一周期调度
选中后,则本次的调度依赖本节点上一周期调度的结果。
生效日期
该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。
其中日期的选择,支持选择当天及以后的日期。
如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划。
调度周期
支持按月、周、天、小时和分钟调度。
具体时间
根据选择的周期客户自定义具体开始和结束的时间。
配置周期调度运行出错后,是否自动重新运行。
单击失败重试后的开关,配置重试信息。
设置重试次数和重试间隔。
参数
说明
重试次数
失败后最多重新运行的次数。
重试间隔
每两次重新运行的时间间隔,超过这个时间,系统重新开始运行。
设置超时时间。
运行超时的时间设置,超过这个时间,则系统报错,运行超时,停止运行。
配置告警监控信息。
步骤五:上线节点任务
在开发环境节点画布编辑页面,单击工具栏的图标,上线开发环境节点任务到生产环境节点。
说明也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。
在确认对话框中,单击确定。
在物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。
单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。