从华为云迁移至阿里云

更新时间:
复制为 MD 格式

本文提供基于阿里云数据传输服务(DTS)的跨云迁移方案,用于将华为云数据库 GeminiDB实例中的数据一次性全量迁移至阿里云云数据库Tair(兼容Redis)实例。由于主流云厂商出于安全考虑,默认禁用了 SYNC 和 PSYNC 命令,而 DTS 的增量迁移功能依赖于这些命令来捕获源库的实时变更。因此,当前方案仅支持全量迁移。若需启用增量迁移能力,请联系源端云厂商的运维或技术支持团队,申请开放 SYNC/PSYNC 权限。

核心迁移流程

整个迁移过程分为四个主要阶段:

  1. 准备阶段:确认前提条件,了解注意事项、费用和权限要求。

  2. 环境准备:为目标实例配置公网访问能力。

  3. DTS配置与执行:在阿里云侧创建并配置DTS迁移任务,启动并监控任务。

  4. 后续操作:迁移完成后,进行业务切换、安全加固和资源释放。

准备阶段

在开始实际操作前,请务必完成以下准备工作。

前提条件

  • 已创建云数据库Tair(兼容Redis)实例。如果尚未创建,请参见步骤1:创建实例

    说明

    建议云数据库Tair(兼容Redis)实例的存储空间比华为云数据库 GeminiDB实例已使用的存储空间大10%。如果创建的云数据库Tair(兼容Redis)实例存储空间过低,您需要升级存储空间,详情请参见升降实例规格

  • 华为云数据库 GeminiDB实例支持公网访问,相关操作请参见开启Redis公网访问

注意事项

  • 在不支持增量迁移的前提下,迁移开始前需要停止华为云数据库 GeminiDB实例的相关业务,为保障数据一致性,全量数据迁移期间请勿在华为云数据库 GeminiDB数据库中写入新的数据。

  • DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。

  • 对于迁移失败的任务,DTS会触发自动恢复。当您需要将业务切换至目标实例时,请务必先结束或释放该任务,避免该任务被自动恢复后,导致源端数据覆盖目标实例的数据。

  • 由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的存储空间比源端大5%~10%。

费用说明

迁移类型

链路配置费用

公网流量费用

全量数据迁移

不收费。

仅当通过公网将数据迁移出阿里云时收费,详情请参见DTS计费项

增量数据迁移

收费,详情请参见DTS计费项

迁移功能

增量迁移支持的Redis命令包括:

  • APPEND

  • BITOP、BLPOP、BRPOP、BRPOPLPUSH

  • DECR、DECRBY、DEL

  • EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT

  • FLUSHALL、FLUSHDB

  • GEOADD、GETSET

  • HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX

  • INCR、INCRBY、INCRBYFLOAT

  • LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM

  • MOVE、MSET、MSETNX、MULTI

  • PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX、PUBLISH

  • RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX

  • SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE

  • ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE

  • XADD、XCLAIM、XDEL、XAUTOCLAIM、XGROUP CREATECONSUMER、XTRIM

环境准备

由于华为云数据库 GeminiDB默认仅提供内网访问,需通开启外网地址来获取公网地址。

步骤1:(可选)如尚未创建公网网关,请先完成创建;若已存在,可直接跳过本步骤。

  1. 登录华为云公网NAT网关控制台,点击购买公网NAT网关按钮。

  2. 在购买页面,配置以下关键参数:

    • 区域:选择与实例相同的地域

    • 计费模式:按需计费

    • 规格:按需选择,本方案以演示为主,选择小型

    • 名称:自定义

    • 虚拟私有云:选择与实例相同的vpc

    • 子网:选择与实例相同的subnet

  3. 确认其他配置后,完成创建。等待实例状态变为“正常”。

步骤2:(可选)如尚未创建弹性IP,请先完成创建;若已存在,可直接跳过本步骤。

  1. 华为云弹性公网IP控制台,点击购买弹性公网IP按钮。

  2. 在购买页面,配置以下关键参数:

    • 计费模式:按需计费

    • 区域:选择与实例相同的地域

    • 线路:按需选择,本方案以演示为主,选择静态BGP

    • 公网带宽:按需选择,本方案以演示为主,选择按流量计费

    • 带宽大小:按需选择,本方案以演示为主,选择1Mbit/s

    • 带宽名称:自定义

  3. 确认其他配置后,完成创建。实例状态变为“未绑定”。

步骤3:通过为华为云数据库 GeminiDB实例绑定弹性公网 IP,实现对外提供公网访问能力。

  1. 登录华为云实例列表控制台,点击目标实例ID。

  2. 基本信息页的连接信息模块中,找到公网网关,点击绑定网关地址按钮。

    image

  3. 绑定网关地址弹窗中,绑定之前创建的公网网关弹性IP,并设置公网端口号(例如:6379),点击确定按钮完成配置。

    image

  4. 完成后,在列表中可以查看到公网访问地址和端口,此为后续DTS配置所需的公网连接地址。
    image

步骤4:配置华为云数据库 GeminiDB实例的安全组规则,允许目标服务器通过公网访问该实例。

  1. 在左侧导航栏点击节点管理,在节点安全组中点击安全组名称。

    image

  2. 进入安全组的基本信息页后,选择入方向规则页签,点击添加规则按钮。

  3. 添加入方向规则弹窗中,放通您刚才配置的网关端口(例如:6379),授权来源可以是0.0.0.0/0或更精确的IP范围。

    image

重要
  • 0.0.0.0/0 表示允许所有 IP 地址访问,存在安全风险,请谨慎使用。

  • 建议将后续步骤中 DTS 服务器访问授权弹窗里提供的 IP 地址 添加为来源,以实现最小化授权。

DTS配置与执行

  1. 登录数据传输服务DTS控制台

  2. 在左侧导航栏,单击数据迁移

  3. 在顶部导航栏,选择迁移实例所属地域。

  4. 单击创建任务,进入任务配置页面。

  5. 配置源库及目标库信息。

    警告

    选择源和目标实例后,建议您仔细阅读页面上方显示的使用限制,否则可能会导致任务失败或数据不一致。

    类别

    配置

    说明

    任务名称

    DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    源库信息

    数据库类型

    选择Tair/Redis

    接入方式

    选择公网IP

    实例地区

    选择华为云数据库 GeminiDB所属地域。

    说明

    若选项中没有华为云数据库 GeminiDB所属的地域,您可以选择一个该数据库距离最近的地域。

    实例模式

    单机版

    域名或IP地址

    填入上阶段获取的华为云数据库 GeminiDB公网IP地址。

    端口

    填入上阶段配置的华为云数据库 GeminiDB公网端口。

    认证方式

    根据配置选择对应认证方式,当前为密码登录

    数据库密码

    填入华为云数据库 GeminiDB的密码。

    连接方式

    选择非加密连接

    目标库信息

    数据库类型

    选择Tair/Redis

    接入方式

    选择云实例

    实例地区

    选择目标阿里云云数据库Tair(兼容Redis)实例所属地域。

    是否跨阿里云账号

    不跨账号

    实例类型

    普通实例

    实例ID

    从下拉列表中选择目标云数据库Tair(兼容Redis)实例的ID。

    认证方式

    根据配置选择对应认证方式,当前为密码登录

    数据库密码

    填入该数据库账号对应的密码。

    连接方式

    选择非加密连接

  6. 填写完成后,点击测试连接以进行下一步

  7. 复制DTS服务器访问授权弹框中的DTS服务器IP地址,加入源端数据库的白名单安全设置中,然后单击确认授权并测试链接

    警告

    DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在安全风险,一旦使用本产品代表您已理解和确认其中可能存在的安全风险,并且需要您做好基本的安全防护,包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各API使用鉴权方式通信、定期检查并限制不需要的网段,或者通过内网(专线/VPN网关/智能网关)的方式接入。

  8. 配置任务对象。

    1. 对象配置页面,配置待迁移的对象。

      配置

      说明

      迁移类型

      • 若未开通 SYNC 和 PSYNC 权限:请选择基于 SCAN 命令的全量迁移方式,不支持增量迁移。

      • 若已开通 SYNC 和 PSYNC 权限:请选择基于 PSYNC 命令的全量迁移方式,该模式支持增量迁移。

      目标已存在表的处理模式

      • 预检查并报错拦截:检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合,则通过该检查项目;如果目标数据库中有同名的集合,则在预检查阶段提示错误,数据同步任务不会被启动。

        说明

        如果目标库中同名的集合不方便删除或重命名,您可以更改该集合在目标库中的名称,详情请参见设置同步对象在目标实例中的名称

      • 忽略报错并继续执行:跳过目标数据库中是否有同名集合的检查项。

        警告

        选择为忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:

        • 在目标库遇到与源库主键或唯一键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会同步至目标库中。

        • 可能会导致无法初始化数据、只能同步部分的数据或同步失败。

      源库对象

      源库对象框中单击待同步对象,然后单击向右将其移动至已选择对象框。

      已选择对象

      • 如需设置待同步对象在目标实例中的名称,或指定目标实例中接收数据的对象,请右击已选择对象中的同步对象进行修改。设置方式,请参见库表列名映射

      • 如需移除已选择的同步对象,请在已选择对象框中单击待同步的对象,然后单击image将其移动到源库对象框。

      说明
      • 如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象迁移失败。

      • 如需设置WHERE条件过滤数据,请在已选择对象中右击待迁移的对象,在弹出的对话框中设置过滤条件。设置方法请参见设置过滤条件

    2. 单击下一步高级配置,进行高级参数配置。

      配置

      说明

      源库、目标库无法连接后的重试时间

      在迁移任务启动后,若源库或目标库连接失败则DTS会报错,并会立即进行持续的重试连接,默认重试720分钟,您也可以在取值范围(10~1440分钟)内自定义重试时间,建议设置30分钟以上。如果DTS在设置的时间内重新连接上源、目标库,迁移任务将自动恢复。否则,迁移任务将失败。

      说明
      • 针对同源或者同目标的多个DTS实例,网络重试时间以后创建任务的设置为准。

      • 由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。

      源库、目标库出现其他问题后的重试时间

      在迁移任务启动后,若源库或目标库出现非连接性的其他问题(如DDLDML执行异常),则DTS会报错并会立即进行持续的重试操作,默认持续重试时间为10分钟,您也可以在取值范围(1~1440分钟)内自定义重试时间,建议设置10分钟以上。如果DTS在设置的重试时间内相关操作执行成功,迁移任务将自动恢复。否则,迁移任务将会失败。

      重要

      源库、目标库出现其他问题后的重试时间的值需要小于源库、目标库无法连接后的重试时间的值。

      是否限制全量迁移速率

      在全量迁移阶段,DTS将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。您可以根据实际情况,选择是否对全量迁移任务进行限速设置(设置每秒查询源库的速率QPS每秒全量迁移的行数RPS每秒全量迁移的数据量(MB)BPS),以缓解目标库的压力。

      说明

      环境标签

      您可以根据实际情况,选择用于标识实例的环境标签。本示例无需选择。

      配置 ETL 功能

      根据业务需求选择是否配置ETL功能,对数据进行加工处理。

      • :配置ETL功能,您还需要在文本框中输入数据处理语句

      • :不配置ETL功能。

      监控告警

      根据业务需求选择是否设置告警并接收告警通知。

      • 不设置:不设置告警。

      • 设置:设置告警。您还需要设置告警阈值告警联系人,当迁移失败或延迟超过阈值后,系统将进行告警通知。

    3. 单击数据校验,进行数据校验任务配置。若您需要使用数据校验功能,配置方法请参见配置数据校验

      重要

      全量校验基准配置中:

      • 若目标库中已存在其他数据,请选择 源库作为校验基准;

      • 若目标库为空(无其他数据),可选择默认选项。

  9. 保存任务并进行预检查。

    • 若您需要查看调用API接口配置该实例时的参数信息,请将鼠标光标移动至下一步保存任务并预检查按钮上,然后单击气泡中的预览OpenAPI参数

    • 若您无需查看或已完成查看API参数,请单击页面下方的下一步保存任务并预检查

    说明
    • 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。

    • 如果预检查失败,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。

    • 如果预检查产生警告:

      • 对于不可以忽略的检查项,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。

      • 对于可以忽略无需修复的检查项,您可以依次单击点击确认告警详情确认屏蔽确定重新进行预检查,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。

  10. 预检查通过率显示为100%时,单击下一步购买

  11. 购买实例。

    1. 购买页面,选择数据迁移实例的链路规格,详细说明请参见下表。

      类别

      参数

      说明

      信息配置

      资源组配置

      选择实例所属的资源组,默认为default resource group。更多信息,请参见什么是资源管理

      链路规格

      DTS为您提供了不同性能的迁移规格,迁移链路规格的不同会影响迁移速率,您可以根据业务场景进行选择。更多信息,请参见数据迁移链路规格说明

    2. 配置完成后,阅读并选中《数据传输(按量付费)服务条款》

    3. 单击购买并启动,并在弹出的确认对话框,单击确定

      您可以在迁移任务列表页面,查看迁移实例的具体进度。

      说明
      • 若迁移实例不包含增量迁移任务,则迁移实例会自动结束。迁移实例自动结束后,运行状态已完成

      • 若迁移实例包含增量迁移任务,则迁移实例不会自动结束,增量迁移任务会持续进行。在增量迁移任务正常运行期间,迁移实例的运行状态运行中

  12. 监控任务与切换。

    1. 任务启动后,您将在迁移任务列表中看到该任务。

    2. 单击任务ID进入详情页,在左侧导航栏点击任务管理,查看任务进度。

    3. 任务状态将依次经历:全量迁移 -> 后置模块 -> 全量校验

    4. 全量校验完成后,说明源库和目标库数据已完成同步。此时,您可以安排业务停机窗口,将应用连接切换云数据库Tair(兼容Redis)实例。

      image

后续操作

  1. 业务验证:在新的云数据库Tair(兼容Redis)实例上验证业务功能是否正常。

  2. 安全加固:修改源库和目标库的数据库密码,保障数据安全。

  3. 资源清理:如果华为云侧为迁移创建的公网资源不再需要,请及时释放。

相关文档