由于业务需求,需要变更表的字符集(例如从gbk变更为utf8mb4),如果直接使用ALTER命令修改字符集会锁表,当数据表过大时,对业务的影响较大。
本文介绍的操作方法需要先在目标实例中创建表结构信息(新字符集),再通过DTS将源实例的数据迁移至目标实例,同时可建立简易回滚方案或双写方案,平滑地完成RDS MySQL字符集的变更。
注意事项
- 在执行变更字符集之前,请对业务和SQL进行充分的兼容性测试和功能验证,确认正常后再执行本操作。
- DTS在执行全量数据迁移时将占用源实例和目标实例一定的读写资源,可能会导致数据库的负载上升。因此您需要在执行数据迁移前评估源实例和目标实例的性能,同时建议您在业务低峰期执行数据迁移。
- 如果源实例的待迁移对象没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标实例中出现重复数据。
步骤一 将源实例中表的结构导入至新实例中
本示例中通过DMS登录的实例的管控模式均为自由操作。
- 导出源实例中需要变更字符集的表的结构脚本。
- 解压下载的文件,然后修改表结构脚本,调整字符集配置信息,将其更换为需要变更的目标字符集。
- 新购一个与源实例规格相同的RDS MySQL实例,详情请参见创建RDS MySQL实例。
- 将修改后的表结构脚本导入至新的RDS MySQL实例中。
步骤二 将源实例中表的数据迁移至新的实例
- 登录数据传输控制台。说明
- 若数据传输控制台自动跳转至数据管理DMS控制台,您可以在右下角的中单击,返回至旧版数据传输控制台。
- 若您登录的是新版数据传输控制台,您可以单击右下角的,返回至旧版数据传输控制台。
- 在左侧导航栏,单击数据迁移。
- 在迁移任务列表页面顶部,选择迁移的目标集群所属地域。
- 单击页面右上角的创建迁移任务。
- 配置迁移任务的源库及目标库信息。
类别 配置 说明 任务名称 - DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。 源库信息 实例类型 选择RDS实例。 实例地区 选择源RDS实例所属地域。 RDS实例ID 选择源RDS实例ID。 数据库账号 填入源RDS实例的数据库账号(需具备待迁移库的读写权限)。 数据库密码 填入该数据库账号对应的密码。 说明 源库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的源库信息是否正确。源库信息填写正确则提示测试通过;如果提示测试失败,单击测试失败后的诊断,根据提示调整填写的源库信息。连接方式 根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接,您需要提前开启RDS实例的SSL加密功能,详情请参见设置SSL加密。 目标库信息 实例类型 选择RDS实例。 实例地区 选择目标RDS实例所属地域。 RDS实例ID 选择目标RDS实例ID。 数据库账号 填入目标RDS实例的数据库账号(需具备迁入的目标库的读写权限)。 数据库密码 填入该数据库账号对应的密码。 说明 目标库信息填写完毕后,您可以单击数据库密码后的测试连接来验证填入的目标库信息是否正确。目标库信息填写正确则提示测试通过;如果提示测试失败,单击测试失败后的诊断,根据提示调整填写的目标库信息。连接方式 根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接,您需要提前开启RDS实例的SSL加密功能,详情请参见设置SSL加密。 - 配置完成后,单击页面右下角的授权白名单并进入下一步。 说明 此步骤会将DTS服务器的IP地址自动添加到RDS MySQL的白名单中,用于保障DTS服务器能够正常连接源和目标实例。
- 选择迁移类型和迁移对象。
配置 说明 迁移类型 由于已经在步骤一中完成了结构迁移,此处无需勾选结构迁移。 - 如果只需要全量迁移,仅勾选全量数据迁移。 警告 为保障数据一致性,全量数据迁移期间请勿在源实例中写入新的数据。
- 如果需要不停机迁移,同时勾选全量数据迁移和增量数据迁移。 说明 增量数据迁移阶段支持同步的SQL操作为:INSERT、UPDATE、DELETE、CREATE TABLE、ALTER TABLE、RENAME TABLE、TRUNCATE TABLE、DROP TABLE。
迁移对象 在迁移对象框中选择待迁移的对象(该对象的结构须已在步骤一中完成了迁移),然后单击将其移动至已选择对象框。 警告 由于已完成了结构迁移,请勿执行对象名映射操作,否则将导致迁移失败。 - 如果只需要全量迁移,仅勾选全量数据迁移。
- 启动迁移任务。
步骤三 业务切换
您可以根据业务需求选择下述方案执行业务切换。
- 简易回退方案(有一定的回滚失败风险,无需改造业务的应用程序)
- 在目标RDS MySQL实例中完成迁移后的数据校验。
- 参考业务切换流程文档中介绍的流程执行业务切换并建立回退方案(将目标库的增量数据实时迁移回源库中)。
- 回退方案保持一个业务周期,测试完所有功能,确认无误后可结束回退方案中创建的反向数据迁移任务。
- 可选:如不再需要源实例,可将其释放(按量付费实例)或退订(包年包月实例)。
- 双写方案(可保障回滚成功率,业务的应用程序改造量大)
- 对业务的应用程序进行改造,让其实现双写的逻辑(即数据变更会同时向源和目标实例写入)。
- 结束数据迁移任务。
- 全量数据迁移
请勿手动结束迁移任务,否则可能导致数据不完整。您只需等待迁移任务完成即可,迁移任务会自动结束。
- 增量数据迁移
迁移任务不会自动结束,您需要手动结束迁移任务。
- 观察迁移任务的进度变更为增量迁移,并显示为无延迟状态时,将源库停写几分钟,此时增量迁移的状态可能会显示延迟的时间。
- 等待迁移任务的增量迁移再次进入无延迟状态后,手动结束迁移任务。
说明 您可以登录源实例,执行show processlist;
查看会话信息,确保没有新的会话执行写入操作。 - 全量数据迁移
- 在目标RDS MySQL实例中完成迁移后的数据校验。
- 将业务的应用程序设置为双写,即数据变更会同时写入源和目标实例。
- 双写状态保持一个业务周期,测试完所有功能,确认无误后可调整为只写入目标实例。
- 可选:如不再需要源实例,可将其释放(按量付费实例)或退订(包年包月实例)。