文档

新建同步节点并运行后上线

更新时间:

数据同步节点,实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。

操作步骤

步骤一:登录节点任务设置页面

  1. 登录企业数据智能平台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择节点模式

步骤二:新建节点并设置节点属性参数

  1. 开发环境页签,单击新建节点

  2. 新建节点对话框,选择同步节点的节点类型,单击确定

  3. 在节点编辑页面右侧的节点属性页签,自定义填写节点标识、节点名称以及节点描述信息。

    配置项

    说明

    节点名称

    节点的名称,支持用户自定义。

    节点标识

    节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

    节点描述

    自定义节点的描述信息。

  4. 在节点编辑页面,单击保存图标。

  5. 确认节点信息对话框中,确认节点名称、节点标识以及节点目录信息设置无误后,单击确认

步骤三:设置运行配置参数并运行

  1. 单击页面右侧运行配置页签,配置同步资源。

    参数

    说明

    源端配置

    开发数据源

    开发环境中传输链路输入端的云计算资源类型和资源。

    逻辑表

    输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

    • 当选择数据表时,。

    • 当选择星号(*)时,表示数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

    开发数据表

    开发环境中源端输入的物理表,在下拉列表中选择。

    生产数据源

    生产环境中使用源端输入的物理表所在资源。

    生产数据表

    生产环境中源端输入的物理表,在下拉列表中选择。

    同步模式

    • 当选择全量,表示全量覆盖同步。

    • 当选择增量,则增量同步。

    增量字段

    当选择增量时,需同步选择需要同步的增量字段。

    自定义条件

    过滤条件,例如输入ID>12,表示将ID的值大于12的数据传输至目标路径。

    说明

    仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。

    目标端配置

    开发目标端

    开发环境中传输链路输出端的云计算资源类型。

    逻辑表

    输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

    • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

    • 当选择星号(*)时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。

    开发数据表

    开发环境中目标端输出的物理表,在下拉列表中选择。

    生产目标端

    生产环境中使用目标端输出的物理表所在资源。

    生产数据表

    生产环境中目标端输出使用的物理表。

    分区字段

    当选择的物理表是分区表时,会自动识别出分区字段,并展示出来,用于设置分区的值。

    写入处理规则

    • 当选中写入前清理已有数据,则写入目标数据表数据时,会清空当前表已有数据。

    • 当选中保留已有数据,则写入目标数据表数据时,会保留当前表已有数据。

    说明

    仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,才会显示当前参数。

  2. 配置字段映射关系。

    参数

    说明

    同名映射

    单击同名映射,则数据传输时,将源端表中数据传输至目标端表相同名称的字段中。

    同行映射

    单击同名映射,则数据传输时,源端和目标端表的同行字段映射。

    取消映射

    取消设置的字段映射关系。

  3. 配置通用控制参数。

    参数

    说明

    依赖配置

    当同步节点存在依赖关系时,打开依赖配置的image..png开关,单击右侧的添加依赖节点,设置依赖节点的信息。

    • 所属工作组:该依赖节点的所属工作区。

    • 节点名称:该依赖节点的名称。

    • 操作:当不需要该依赖节点的时候支持删除。

    表结构变化

    当选中开启检测复选框后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

    开发资源组

    测试时使用的资源组,支持选择用户自有的资源。

    生产资源组

    正式环境使用的资源组,支持选择用户自有的资源。

    资源规格

    VCPU(核)

    CPU配置,根据实际填写。

    内存(M)

    内存配置,可根据实际配置。

    速率

    字节/秒

    每个通道每秒传输的字节上限。

    记录/条

    每个通道每秒传输的记录数上限。

  4. 在节点编辑页面,单击左上角保存图标。

  5. 单击运行图标,运行数据同步节点。

    说明

    当解析后不存在参数,则单击运行图标后,不会弹出该对话框。

  6. 查看运行结果和日志,当日志列结果显示success,则表示数据同步节点运行成功。

步骤四:(条件必选)如果节点需要被周期调度,设置调度信息

说明

用于设置数据同步节点生产场景的调度周期等参数。

  1. 设置调度参数。

    1. 单击页面右侧调度配置页签,单击定时调度的开关开关。

    2. 根据下表参数配置调度参数。

      参数

      说明

      周期调度

      依赖本节点上一周期调度

      选中后,则本次的调度依赖本节点上一周期调度的结果。

      生效日期

      该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。

      • 其中日期的选择,支持选择当天及以后的日期。

      • 如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划

      调度周期

      支持按月、周、天、小时和分钟调度。

      具体时间

      根据选择的周期客户自定义具体开始和结束的时间。

  2. 配置周期调度运行出错后,是否自动重新运行。

    1. 单击失败重试后的告警配置开关,配置重试信息。

    2. 设置重试次数和重试间隔。

      参数

      说明

      重试次数

      失败后最多重新运行的次数。

      重试间隔

      每两次重新运行的时间间隔,超过这个时间,系统重新开始运行。

  3. 设置超时时间。

    运行超时的时间设置,超过这个时间,则系统报错,运行超时,停止运行。

  4. 配置告警监控信息。

    1. 单击告警监控后的告警配置开关,打开告警配置信息。

    2. 配置告警前确保已经设置了监控设置,选择负责人、业务分组以及告警级别。

      参数

      说明

      监控配置

      负责人

      默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员

      告警分组

      下拉选择已新建的分组,具体操作,请参见新建告警分组

      告警级别

      下拉选择接收告警的级别。

      说明

      待场景运行后,在全景监控菜单下,查看告警,更多操作,请参见查看告警消息

步骤五:上线节点任务

  1. 在开发环境节点画布编辑页面,单击工具栏的image.png图标,上线开发环境节点任务到生产环境节点。

    说明

    也支持在节点任务页面,单击目标任务操作列的上线实现节点任务的上线操作。

  2. 在确认对话框中,单击确定

  3. 物理化预分析对话框中,确认待物理化的逻辑表无误后,单击确定。等待运行成功,上线开发环境节点到生产环境节点。

  4. 单击生产环境页签,在生产环境页签,单击目标节点操作列的查看。可查看已经生成的生产环境节点任务。