同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。
前提条件
已创建并运行同步数据至Kafka解决方案的任务,详情请参见一键实时同步至Kafka。同步任务新增表
- 在解决方案任务列表页面,选择目标同步任务后的 ,进入任务配置页面。
- 新增同步源表并更新源表至目标表的映射关系。
- 单击下一步。
- 运行资源设置。在运行资源设置页签,配置各项参数。
- 离线全量同步
参数 描述 离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于同步全量数据,再生成实时任务实时同步增量数据。 全量离线任务资源组 运行全量离线任务需要使用的独享数据集成资源组。
目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置。说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。 - 离线全量调度
参数 描述 选择调度资源组 选择运行任务时使用的调度资源组。
目前解决方案仅支持使用独享调度资源组,此处可配置为准备操作中已购买并配置的独享调度资源组,详情请参见资源规划与配置。说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。 - 实时增量同步
参数 描述 选择实时任务独享资源组 选择运行实时任务时需要使用的独享数据集成资源组。
目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情请参见资源规划与配置。说明 如果您没有购买独享资源组,可单击+新建独享资源组,创建新的独享资源组。 - 通道设置
参数 描述 来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为20。
- 离线全量同步
- 单击完成配置,返回解决方案任务列表页面。
- 单击上述修改任务操作列的 在提交执行对话框,单击确定,运行当前任务。提交执行任务时,会和上一次运行成功的任务对应的表做对比,当发现新增表时则会执行新增表的添加流程。说明 重置实时同步任务位点并启动运行时,会存在一个新增表追加变更数据的过程,即任务位点时间重置到新增表全量数据初始化时的时间。例如,您的同步任务8点开始运行,到9点时运行未结束。9点时新增了一张表,则全量数据初始化在9点开始执行,此过程耗时1小时,即全量数据初始化在10点完成。此时,已经正在运行的实时同步任务会先停止,然后重置任务位点到9点,进行追加增量数据,9点到10点之间所有变更表的增量数据会被重新同步至Kafka目标表,一键新增表只保证数据的最终一致性。
- 查看同步任务新增表详情。
同步任务删除表
- 在解决方案任务列表页面,选择目标同步任务后的 ,进入任务配置页面。
- 删除同步源表并更新源表至目标表的映射关系。
- 单击下一步。
- 单击完成配置,返回解决方案任务列表页面。
- 单击上述修改任务操作列的 在提交执行对话框,单击确定,运行当前任务。删除已运行同步任务中的源表时,会将目标源表从实时同步任务中移除。重新提交执行同步任务时,会直接在重启同步任务的时间点继续同步数据。
- 查看同步任务删除表详情。