如果迁移的源数据库类型为MySQL,如自建MySQL、RDS MySQL,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。
MySQL间的迁移
如果迁移的目标数据库类型为MySQL,如RDS MySQL、自建MySQL,具体注意事项及限制如下:
类型 |
说明 |
源库限制 |
- 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。
- 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
- 如需进行增量迁移,Binlog日志:
- 需开启,并且binlog_format为row、binlog_row_image为full。否则预检查阶段提示报错,且无法成功启动数据迁移任务。
- 至少保留24小时(建议3天以上)。否则当链路由于不可控因素中断,可能由于Binlog的缺失导致链路无法恢复。
- 源库的操作限制:
- 请勿在链路创建阶段执行库或表结构变更的DDL操作,否则数据迁移链路建立会失败。
- 如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。
|
其他限制 |
- 建议源和目标库的MySQL版本保持一致,以保障兼容性。
- 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。
- 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。
- 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过
ROUND(COLUMN,PRECISION) 来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。
- DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用
revoke 命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。
|
特殊情况 |
|
MySQL迁移至PolarDB MySQL
如果迁移的目标数据库类型为PolarDB MySQL,具体注意事项及限制如下:
类型 |
说明 |
源库限制 |
- 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。
- 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
- 如需进行增量迁移,Binlog日志:
- 需开启,并且binlog_format为row、binlog_row_image为full。否则预检查阶段提示报错,且无法成功启动数据迁移任务。
- 至少保留24小时(建议3天以上)。否则当链路由于不可控因素中断,可能由于Binlog的缺失导致链路无法恢复。
- 源库的操作限制:
- 请勿在链路创建阶段执行库或表结构变更的DDL操作,否则数据迁移链路建立会失败。
- 如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。
|
其他限制 |
- 建议源和目标库的MySQL版本保持一致,以保障兼容性。
- 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。
- 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。
- 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过
ROUND(COLUMN,PRECISION) 来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。
- DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用
revoke 命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。
|
特殊情况 |
|
MySQL迁移至PolarDB-X
如果迁移的目标数据库类型为PolarDB-X,具体注意事项及限制如下:
类型 |
说明 |
源库限制 |
- 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。
- 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
- 如需进行增量迁移,Binlog日志:
- 需开启,并且binlog_format为row、binlog_row_image为full。否则预检查阶段提示报错,且无法成功启动数据迁移任务。
- 至少保留24小时(建议3天以上)。否则当链路由于不可控因素中断,可能由于Binlog的缺失导致链路无法恢复。
- 源库的操作限制:
- 请勿在链路创建阶段执行库或表结构变更的DDL操作,否则数据迁移链路建立会失败。
- 如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。
|
其他限制 |
- PolarDB-X中的数据库须基于RDS MySQL,暂不支持基于PolarDB MySQL。
- DTS在迁移MySQL至PolarDB-X实例时,不支持结构迁移。
- 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。
- 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。
- 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过
ROUND(COLUMN,PRECISION) 来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。
- DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用
revoke 命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。
|
特殊情况 |
当源库为自建MySQL时
- 迁移时源库进行主备切换,会导致迁移任务失败。
- 由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出,源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大,您可以在源库执行一个DML操作来更新延迟信息。
说明 如果迁移对象选择为整库,您还可以创建心跳表,心跳表每秒定期更新或者写入数据。
|
MySQL迁移至自建Kafka
如果迁移的目标数据库类型为自建Kafka,具体注意事项及限制如下:
类型 |
说明 |
源库限制 |
- 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。
- 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
- 如需进行增量迁移,Binlog日志:
- 需开启,并且binlog_format为row、binlog_row_image为full。否则预检查阶段提示报错,且无法成功启动数据迁移任务。
- 至少保留24小时(建议3天以上)。否则当链路由于不可控因素中断,可能由于Binlog的缺失导致链路无法恢复。
- 源库的操作限制:
- 请勿在链路创建阶段执行库或表结构变更的DDL操作,否则数据迁移链路建立会失败。
- 如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。
|
注意事项 |
- 已完成Kafka集群的搭建,且Kafka的版本为0.10.1.0~2.0版本。
- Kafka集群的服务端口已开放至公网。
- 执行数据迁移前需评估源库和目标库的性能,同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源,可能会导致数据库的负载上升。
- 由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。
- 请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过
ROUND(COLUMN,PRECISION) 来读取这两类列的值。如果没有明确定义其精度,DTS对FLOAT的迁移精度为38位,对DOUBLE的迁移精度为308位。
- DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前,请务必结束或释放该任务,或者将DTS访问目标实例账号的写权限用
revoke 命令回收掉。避免该任务被自动恢复后,源端数据覆盖目标实例的数据。
|
特殊情况 |
当源库为自建MySQL时
- 迁移时源库进行主备切换,会导致迁移任务失败。
- 由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出,源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大,您可以在源库执行一个DML操作来更新延迟信息。
说明 如果迁移对象选择为整库,您还可以创建心跳表,心跳表每秒定期更新或者写入数据。
|
在文档使用中是否遇到以下问题
更多建议
匿名提交