同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。

前提条件

已创建并运行同步数据至Hologres解决方案的任务,详情请参见配置查看数据同步任务

同步任务新增表

  1. 登录并进入数据集成页面,单击同步解决方案 > 任务列表,进入同步解决方案页面。
    操作详情可参见进入同步解决方案
  2. 解决方案任务列表页面,选择目标同步任务后的更多 > 修改配置,进入任务配置页面。
  3. 新增同步源表并更新源表至目标表的映射关系。
    1. 设置同步来源和规则页面的选择同步的源表区域,选中需要新增的同步源表,单击图标图标,将其移动至已选源表新增源表至已选源表
    2. 单击下一步
    3. 设置目标表页面,单击刷新源表和Hologres表映射,更新需要同步的源表和目标Hologres表的映射关系。
    4. 查看任务的执行进度和表来源。
      新增源表同步进度
      序号 描述
      显示映射关系的创建进度。
      说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
      • 如果来源库有主键,则同步数据时会直接使用该主键进行去重。
      • 如果来源库没有主键,则您需要单击编辑图标,自定义主键,即使用其他非主键的一个或几个字段的联合,代替主键进行同步数据时进行去重判断。
      选择的表建立方式,取值如下:
      • 表建立方式选择使用已有表时,Hologres表名列显示自动创建的Hologres表名称。您也可以在下拉列表中选择需要使用的表名称。
      • 表建立方式选择自动建表时,显示自动创建的Hologres表名称。您可以单击表名称,查看和修改建表语句。
  4. 单击下一步
  5. 配置DDL消息处理规则
    来源数据源(例如,MySQL)会包含许多DDL操作,进行实时同步时,您可以在DDL消息处理规则页面,根据业务需求,修改不同类别DDL消息同步至目标端的规则。
    1. 配置实时同步DDL消息处理策略DDL消息处理规则
      不同DDL消息处理策略如下表所示。
      DDL消息类型 处理策略
      新建表 DataWorks收到对应类型的DDL消息时,处理策略如下:
      • 正常处理:将相应消息继续下发给目标数据源,由目标数据源来处理。因为不同目标数据源对DDL消息处理策略可能会不同,因此DataWorks只执行转发操作。
      • 忽略:直接丢弃该消息,不再向目标数据源发送。
      • 告警:直接丢弃该消息,同时会在实时同步日志中记录告警信息,指明该消息因执行出错被丢弃。
      • 出错:实时同步任务直接显示出错状态并终止运行。
      删除表
      新增列
      删除列
      重命名表
      重命名列
      修改列类型
      清空表
    2. 单击下一步
  6. 运行资源设置。
    运行资源设置页签,配置各项参数。运行资源设置
    • 离线全量同步
      参数 描述
      离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于同步全量数据,再生成实时任务实时同步增量数据。
      全量离线任务资源组

      运行全量离线任务需要使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 离线全量调度
      参数 描述
      选择调度资源组

      选择运行任务时使用的调度资源组。

      目前解决方案仅支持使用独享调度资源组,此处可配置为准备操作中已购买并配置的独享调度资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 实时增量同步
      参数 描述
      选择实时任务独享资源组

      选择运行实时任务时需要使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 通道设置
      参数 描述
      来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为20
  7. 单击完成配置,返回解决方案任务列表页面。
  8. 单击上述修改任务操作列的更多 > 提交执行提交执行对话框,单击确定,运行当前任务。
    提交执行任务时,会和上一次运行成功的任务对应的表做对比,当发现新增表时则会执行新增表的添加流程。新增表流程
    说明 重置实时同步任务位点并启动运行时,会存在一个新增表追加变更数据的过程,即任务位点时间重置到新增表全量数据初始化时的时间。例如,您的同步任务8点开始运行,到9点时运行未结束。9点时新增了一张表,则全量数据初始化在9点开始执行,此过程耗时1小时,即全量数据初始化在10点完成。此时,已经正在运行的实时同步任务会先停止,然后重置任务位点到9点,进行追加增量数据,9点到10点之间所有变更表的增量数据会被重新同步至Hologres目标表,一键新增表只保证数据的最终一致性。
  9. 查看同步任务新增表详情。
    1. 进入任务列表页面,单击目标任务操作列的执行详情,进入任务的执行详情页。
    2. 执行步骤区域,单击显示增减表后的执行详情新增表执行详情
      显示增减表的状态为成功时,表明新增的表已成功添加至同步任务。
    3. 查看同步任务新增的同步表。新增表详情

同步任务删除表

  1. 登录并进入数据集成页面,单击同步解决方案 > 任务列表,进入同步解决方案页面。
    操作详情可参见进入同步解决方案
  2. 解决方案任务列表页面,选择目标同步任务后的更多 > 修改配置,进入任务配置页面。
  3. 删除同步源表并更新源表至目标表的映射关系。
    1. 设置同步来源和规则页面的选择同步的源表区域,选中需要删除的已选源表,单击左移图标图标,将其移回至源表删除已选同步表
    2. 单击下一步
    3. 设置目标表页面,单击刷新源表和Hologres表映射,更新需要同步的源表和目标Hologres表的映射关系。
    4. 查看任务的执行进度和表来源。
      新增源表同步进度
      序号 描述
      显示映射关系的创建进度。
      说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
      • 如果来源库有主键,则同步数据时会直接使用该主键进行去重。
      • 如果来源库没有主键,则您需要单击编辑图标,自定义主键,即使用其他非主键的一个或几个字段的联合,代替主键进行同步数据时进行去重判断。
      选择的表建立方式,取值如下:
      • 表建立方式选择使用已有表时,Hologres表名列显示自动创建的Hologres表名称。您也可以在下拉列表中选择需要使用的表名称。
      • 表建立方式选择自动建表时,显示自动创建的Hologres表名称。您可以单击表名称,查看和修改建表语句。
  4. 单击下一步
  5. 配置DDL消息处理规则
    来源数据源(例如,MySQL)会包含许多DDL操作,进行实时同步时,您可以在DDL消息处理规则页面,根据业务需求,修改不同类别DDL消息同步至目标端的规则。
    1. 配置实时同步DDL消息处理策略DDL消息处理规则
      不同DDL消息处理策略如下表所示。
      DDL消息类型 处理策略
      新建表 DataWorks收到对应类型的DDL消息时,处理策略如下:
      • 正常处理:将相应消息继续下发给目标数据源,由目标数据源来处理。因为不同目标数据源对DDL消息处理策略可能会不同,因此DataWorks只执行转发操作。
      • 忽略:直接丢弃该消息,不再向目标数据源发送。
      • 告警:直接丢弃该消息,同时会在实时同步日志中记录告警信息,指明该消息因执行出错被丢弃。
      • 出错:实时同步任务直接显示出错状态并终止运行。
      删除表
      新增列
      删除列
      重命名表
      重命名列
      修改列类型
      清空表
    2. 单击下一步
  6. 运行资源设置。
    运行资源设置页签,配置各项参数。运行资源设置
    • 离线全量同步
      参数 描述
      离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于同步全量数据,再生成实时任务实时同步增量数据。
      全量离线任务资源组

      运行全量离线任务需要使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 离线全量调度
      参数 描述
      选择调度资源组

      选择运行任务时使用的调度资源组。

      目前解决方案仅支持使用独享调度资源组,此处可配置为准备操作中已购买并配置的独享调度资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 实时增量同步
      参数 描述
      选择实时任务独享资源组

      选择运行实时任务时需要使用的独享数据集成资源组。

      目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置
      说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。
    • 通道设置
      参数 描述
      来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为20
  7. 单击完成配置,返回解决方案任务列表页面。
  8. 单击上述修改任务操作列的更多 > 提交执行提交执行对话框,单击确定,运行当前任务。
    删除已运行同步任务中的源表时,会将目标源表从实时同步任务中移除。重新提交执行同步任务时,会直接在重启同步任务的时间点继续同步数据。
  9. 查看同步任务删除表详情。
    1. 执行步骤区域,单击显示增减表后的执行详情新增表执行详情
      显示增减表的状态为成功时,表明目标源表已成功从同步任务中删除。
    2. 查看此次执行任务删除的同步表。删除同步表