完成数据源、网络、资源的准备配置后,您可创建实时同步节点,同步数据至AnalyticDB MySQL。本文为您介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。
前提条件
创建实时数据同步任务前,需检查已完成以下准备操作。
使用限制
-
实时数据同步任务仅支持使用独享数据集成资源组。
- 实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至AnalyticDB MySQL。
-
实时数据同步任务暂不支持同步没有主键的表。
创建实时同步任务
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据开发。
- 创建业务流程。
如果您已有业务流程,则可以忽略该步骤。
- 鼠标悬停至
图标,选择业务流程。
- 在新建业务流程对话框,输入业务名称。
- 单击新建。
- 创建实时同步节点。
- 鼠标悬停至
图标,选择。您也可以找到目标业务流程,右键单击数据集成,选择。
- 在新建节点对话框中,配置各项参数。

参数 |
描述 |
节点类型 |
默认为实时同步。
|
同步方式 |
选择数据库迁至AnalyticDB MySQL 3.0,用于迁移目标数据库下的部分或所有表至AnalyticDB MySQL中。
|
节点名称 |
节点名称必须是大小写字母、中文、数字、下划线(_)以及英文句号(.),且不能超过128个字符。 |
目标文件夹 |
存放实时同步节点的目录。 |
- 单击提交,进入实时同步任务编辑页面。
- 选择资源组。
- 在实时同步任务编辑页面的右侧导航栏,单击基本配置。
- 在资源组下拉框,选择需要使用的资源组。
说明
实时数据同步任务仅支持使用独享数据集成资源组。
如果您没有可用的独享数据集成资源组,请单击
新建独享资源组创建。详情请参见
独享数据集成资源组。
- 选择来源数据源并配置同步规则。
- 在数据来源区域,选择类型和数据源。
说明 仅支持选择MySQL、PolarDB和OceanBase类型的数据源。
- 在选择同步的源表区域,选中需要同步的源表,单击
图标,将其移动至已选源表。
该区域会为您展示所选数据源下所有的表,您可以选择整库全表或部分表进行同步。
- 在设置表名的映射规则区域,单击添加规则,选择相应的规则进行添加。
同步规则包括
源表名和目标表名转换规则和
目标表名规则:
- 源表名和目标表名转换规则:转换表名为目标表名,进行字符串替换。
- 目标表名规则:支持对转换后的表名添加前缀和后缀。
- 单击下一步。
- 选择目标数据源并配置目标表格式。
- 在设置目标表页面,选择目标AnalyticDB MySQL 3.0数据源。
- 单击刷新源表和AnalyticDB MySQL 3.0 表映射,创建需要同步的源表和目标AnalyticDB MySQL表的映射关系。
- 查看任务的执行进度和表来源。

序号 |
描述 |
① |
显示映射关系的创建进度。
说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
|
② |
- 如果来源库有主键,则同步数据时会直接使用该主键进行去重。
- 如果来源库没有主键,则您需要单击
图标,自定义主键,即使用其他非主键的一个或几个字段的联合,代替主键进行同步数据时进行去重判断。
|
③ |
选择的 表建立方式,取值如下:
- 当表建立方式选择使用已有表时,AnalyticDB MySQL 3.0表名列显示自动创建的AnalyticDB MySQL表名称。您也可以在下拉列表中选择需要使用的表名称。
- 当表建立方式选择自动建表时,显示自动创建的AnalyticDB MySQL表名称。您可以单击表名称,查看和修改建表语句。
|
- 单击下一步
如果您前一步中目标数据源使用的表建立方式为自动建表,则需要在弹出的自动建表对话框,单击开始建表,批量创建目标AnalyticDB MySQL表。
- DDL消息处理规则设置。
来源数据源会包含许多DDL操作,进行实时同步时,您可以根据业务需求,对不同的DDL消息设置同步至目标端的规则。
说明 该规则为初次执行实时同步任务时的DDL消息处理规则,后续如果您需要修改规则,则可以进入实时任务的运维配置页面修改,详情请参见本文档的《执行实时同步任务》小节。
- 在DDL消息处理规则页签,配置实时同步DDL消息处理策略。

不同DDL消息处理策略如下表所示。
DDL消息类型 |
处理策略 |
新建表 |
DataWorks收到对应类型的DDL消息时,处理策略如下:
- 正常处理:将相应消息继续下发给目标数据源,由目标数据源来处理。因为不同目标数据源对DDL消息处理策略可能会不同,因此DataWorks只执行转发操作。例如,新增列类型的DDL消息对于MaxCompute而言是个错误的指令,但对于Hologres而言是新增一列的正常指令。
- 忽略:直接丢弃该消息,不再向目标数据源发送。
- 告警:直接丢弃该消息,同时会在实时同步日志中记录告警信息,指明该消息因执行出错被丢弃。
- 出错:实时同步任务直接显示出错状态并终止运行。
|
删除表 |
新增列 |
删除列 |
重命名表 |
重命名列 |
修改列类型 |
清空表 |
- 单击下一步。
- 运行资源设置。
- 在运行资源设置页面,配置各项参数。
参数 |
描述 |
来源端读取支持最大连接数 |
读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为15。
|
目标端写入并发数 |
数据同步任务内,可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。 |
- 单击完成配置。
提交并发布实时同步任务
提交并发布节点任务。
- 单击工具栏中的
图标,保存节点。
- 单击工具栏中的
图标,提交节点任务。
- 在提交新版本对话框中,输入变更描述。
- 单击确认。
如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击右上方的
任务发布。具体操作请参见
发布任务。
执行实时同步任务
- 进入运维页面。
提交或发布节点成功后,单击节点编辑页面右上方的运维,进入页面。
- 查看实时同步任务详情。
在
实时同步任务页面,单击相应
任务名称,查看运维任务的详细信息。

- 执行实时同步任务。
- 单击目标实时同步任务操作列的启动。
- 在启动对话框中,配置各项参数。

参数 |
描述 |
是否重置位点 |
如果选中该参数,请设置下次启动的时间位点。即启动时间点位和时区为必选项。
|
启动时间点位 |
选择启动节点任务的日期和时间。 |
时区 |
从时区下拉列表中选择执行任务的时区。
|
Failover |
您可以设置在固定时间内,任务的Failover超过指定次数时,自动结束任务。
说明 如果您不配置Failover的次数,将根据5分钟Failover超过100次来自动结束任务,避免频繁启动任务占用系统资源。
|
脏数据策略 |
- 零容忍,不允许:只要同步任务中包含脏数据,则任务自动结束。
- 不限制:无论同步任务中是否包含脏数据,任务均可正常执行。
- 有限控制:指定可包含固定数值的脏数据,超出该数值时任务自动结束。
|
实时同步DDL消息处理策略 |
您可以根据需求修改已配置的DDL消息处理策略。详情请参见配置DDL消息处理策略。
|