文档

阿里云NAS之间迁移实践

更新时间:
一键部署
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

本文将介绍如何通过LocalFs的最佳实践来进行阿里云NAS之间数据的迁移。

概述

阿里云提供的在线迁移服务是一种存储产品数据通道,客户有时需要在阿里云NAS之间进行数据迁移。本文档详细介绍了针对这一场景的相关内容。

警告

迁移过程数据不保证数据一致性,请您务必在迁移任务完成后,校验目的端迁移数据。您在删除源数据前,未校验目的端迁移数据无误,导致数据丢失所引起的一切损失和后果均由您自行承担。

迁移流程图

image

迁移前准备

  • 申请代理机器(ECS)

    • 单机CPU核数不得低于4核,内存容量不得低于8GB,磁盘可用空间不得低于20GB。

    • 具有基础带宽、突发带宽特性的规格实例,由于其实际带宽表现可能不稳定。保守起见,按基础带宽的1.5倍计算,即: 平均带宽 = 1.5 × 基础带宽。

    • ECS规格指标中的网络带宽是下行+上行带宽的总和。代理程序运行期间,会同时使用下行和上行的带宽。所以:单机迁移速度 = 平均带宽 ÷ 2。

    • 如果计算单台ECS的迁移速度低于用户的期望,则可以使用多台ECS:单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度。对于NAS之间的迁移,源地址和目的地址需要各关联1个通道。

    • 申请ECS时,需要确保源ECS能成功挂载源NAS,目标ECS能成功挂载目标NAS。

  • 手动挂载NAS注意事项

    • 同一个通道下,如果有多个代理实例,则每个代理对应的ECS上挂载的本地目录必须保持一致。例如,源通道下有两个代理实例,部署在两台ECS上,源NAS在第一台ECS上挂载的本地目录为/mnt/src/,那么在第二台ECS挂载的目录也必须为/mnt/src,以此类推。

    • NAS的挂载命令和参数可参考NAS控制台的使用说明。

重要

在使用NAS的挂载命令和参数进行挂载后,务必确保NAS成功挂载到指定目录,并确保数据迁移期间挂载的有效性,否则可能导致数据写入本地磁盘而非NAS。如有挂载相关问题,请咨询NAS的技术支持。

迁移实施教程

阿里云NAS之间的迁移与本地文件系统(LocalFs)之间的迁移等同,详细迁移教程可参考LocalFS之间迁移教程

重要

任务迁移的实际速度受多种因素影响,包含网络、文件系统本身的性能限制和目录结构等因素,如网络链路长度和时延、NAS服务端读写处理速度、文件是否集中在单个目录下、源目录数量及层级深度、平均文件大小等。以上步骤计算得到的ECS数量仅供参考,不保证一定能达到期望的迁移速度。

迁移示例

示例一:源NAS和目的NAS位于相同的地域和VPC

假设用户的源NAS实例所在地域为cn-beijing,挂载点的VPC网络为vpc-nas,交换机为vsw-nas,源NAS下共有200TB数据量待迁移,平均每个文件大小约为500KB。目的NAS实例所在地域同样位于cn-beijing,挂载点的VPC网络同样为vpc-nas,交换机同样为vsw-nas,文件系统数据量为0。用户期望的迁移速度为2Gbps。

需要按照以下步骤操作:

  1. 确定代理机器(ECS)的硬件配置,例如确认单机ECS规格为ecs.c7.xlarge,具有4核CPU和8GB内存,基础带宽3Gbps,突发带宽12.5Gbps。

    1. 鉴于突发带宽的不确定性,为了谨慎起见,我们按照基础带宽的1.5倍来计算平均带宽,即:平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。

    2. 需要注意的是,ECS指标中的网络带宽是指下行和上行之和。在代理程序运行时,需要从源NAS获取数据(下行),并将其推送至在线迁移服务后端(上行)。因此,单台ECS的迁移速度计算公式为:单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。

  2. 计算每个通道所需的ECS数量:单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1台。因此,需要为源NAS和目的NAS各申请1台ECS。

  3. 在ECS控制台上,分别为源NAS和目的NAS各申请1台ecs.c7.xlarge规格的ECS。地域选择为北京,VPC网络和交换机分别选择vpc-nas和vsw-nas。假设两台ECS实例名称分别为ECS-1和ECS-2。

  4. 以管理员身份登录至ECS-1,并创建/mnt/src/目录,然后将源NAS挂载至该目录;随后以管理员身份登录至ECS-2,并创建/mnt/dest/目录,将目的NAS挂载至该目录。

    重要

    务必确保NAS成功挂载到指定目录,并确保数据迁移期间挂载的有效性。

  5. 在北京控制台地域,根据LocalFS之间迁移教程进行迁移。

    1. 创建1个源通道。创建1个源代理,网络类型选择专线/VPN(VPC),并关联到该源通道。将该代理部署到ECS-1上。

    2. 创建1个目的通道。创建1个目的代理,网络类型选择专线/VPN(VPC),并关联到该目的通道。将该代理部署到ECS-2上。

    3. 为源NAS创建源地址时,关联到源通道,并选择源代理。待迁移目录参数填写为/mnt/src/。

    4. 为目的NAS创建目的地址时,关联到目的通道,并选择目的代理。待迁移目录参数填写为/mnt/dest/。

    5. 使用地址创建任务。

示例二:源NAS和目的NAS位于同一地域,但属于不同的VPC

假设用户的源NAS实例所在地域为cn-beijing,挂载点的VPC网络为vpc-nas-1,交换机为vsw-nas-1,源NAS下共有200TB数据量待迁移,平均每个文件大小约为500KB。目的NAS实例所在地域同样位于cn-beijing,挂载点的VPC网络为vpc-nas-2,交换机为vsw-nas-2,文件系统数据量为0。用户期望的迁移速度为2Gbps。

需要按照以下步骤操作:

  1. 确认代理机器(ECS)的硬件配置,例如确定单台ECS规格为ecs.c7.xlarge,包括4核CPU和8GB内存,基础带宽为3Gbps,突发带宽为12.5Gbps。

    1. 鉴于突发带宽的不确定性,为了谨慎起见,我们按照基础带宽的1.5倍来计算平均带宽,即:平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。

    2. 需要注意的是,ECS指标中的网络带宽是指下行和上行之和。在代理程序运行时,需要从源NAS获取数据(下行),并将其推送至在线迁移服务后端(上行)。因此,单台ECS的迁移速度计算公式为:单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。

  2. 计算每个通道所需的ECS数量:单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1台。因此,需要为源NAS和目的NAS各申请1台ECS。

  3. 在ECS控制台上,需为源NAS申请1台ecs.c7.xlarge规格的ECS,地域选择北京,VPC网络和交换机分别选择vpc-nas-1、vsw-nas-1,实例命名为ECS-1。同样地,需为目的NAS申请1台ecs.c7.xlarge规格的ECS,地域选择北京,VPC网络和交换机分别选择vpc-nas-2、vsw-nas-2,实例命名为ECS-2。

  4. 以管理员身份登录ECS-1,创建/mnt/src/目录,并将源NAS挂载到该目录;然后以管理员身份登录ECS-2,创建/mnt/dest/目录,并将目的NAS挂载到该目录。

    重要

    务必确保NAS成功挂载到指定目录,并确保数据迁移期间挂载的有效性。

  5. 在北京控制台地域,根据LocalFS之间迁移教程进行迁移。

    1. 创建1个源通道。创建1个源代理,网络类型选择专线/VPN(VPC),并关联到该源通道。将该代理部署到ECS-1上。

    2. 创建1个目的通道。创建1个目的代理,网络类型选择专线/VPN(VPC),并关联到该目的通道。将该代理部署到ECS-2上。

    3. 为源NAS创建源地址时,关联到源通道,并选择源代理。待迁移目录参数填写为/mnt/src/。

    4. 为目的NAS创建目的地址时,关联到目的通道,并选择目的代理。待迁移目录参数填写为/mnt/dest/。

    5. 使用地址创建任务。

示例三:源NAS和目的NAS位于不同的地域和不同的VPC

假设用户的源NAS实例所在地域为cn-beijing,挂载点的VPC网络为vpc-nas-1,交换机为vsw-nas-1,源NAS下共有200TB数据量待迁移,平均每个文件大小约为500KB。目的NAS实例所在地域位于cn-hangzhou,挂载点的VPC网络为vpc-nas-2,交换机为vsw-nas-2,文件系统数据量为0。用户期望的迁移速度为10Gbps。

需要按照以下步骤操作:

  1. 确定代理机器(ECS)的硬件配置,例如确认单机ECS规格为ecs.c7.xlarge,具有4核CPU和8GB内存,基础带宽3Gbps,突发带宽12.5Gbps。

    1. 由于突发带宽的不确定性,保守起见,平均带宽按基础带宽的1.5倍来计算,即:平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。

    2. 另外需要注意的是,ECS指标中的网络带宽是下行+上行之和。代理程序运行时,需要从源NAS获取数据(下行),并推送至在线迁移服务后端(上行)。因此单台ECS迁移速度为:单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。

  2. 计算单个通道所需的ECS数量:单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 10Gbps ÷ 2.25Gbps = 4.4 ≈ 5台。因此,需要为源NAS和目的NAS各申请5台ECS。

  3. 在ECS控制台上,为源NAS申请5台ecs.c7.xlarge规格的ECS。地域选择北京,VPC网络和交换机分别选择vpc-nas-1、vsw-nas-1。假设实例名称分别为ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5。类似地,为目的NAS申请5台ecs.c7.xlarge规格的ECS。地域选择杭州,VPC网络和交换机分别选择vpc-nas-2、vsw-nas-2。假设实例名称分别为ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5。

  4. 以管理员身份依次登录到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5,并创建/mnt/src/目录,在该目录下挂载源NAS;随后以管理员身份分别登录到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5,创建/mnt/dest/目录,并将目的NAS挂载到该目录下。

    重要

    务必确保NAS成功挂载到指定目录,并确保数据迁移期间挂载的有效性。

  5. 根据LocalFS之间迁移教程进行迁移。控制台地域可选择北京或杭州。以北京为例:

    1. 创建1个源通道。创建5个源代理,网络类型选择专线/VPN(VPC),并关联到该源通道。将5个代理分别部署到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5上。

    2. 创建1个目的通道。创建5个目的代理,网络类型选择公网(公网),并关联到该目的通道。将5个代理分别部署到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5上。

    3. 为源NAS创建LocalFS地址时,关联到源通道,并选择源代理。待迁移目录参数填写为/mnt/src/。

    4. 为目的NAS创建目的地址时,关联到目的通道,并选择目的代理。待迁移目录参数填写为/mnt/dest/。

    5. 使用地址创建任务。

迁移常见问题

  • 必须要以管理员身份启动代理进程

    • 源数据地址关联的代理进程需要具有读取源NAS待迁移目录下所有文件和子目录的权限,否则将导致读取失败,从而导致迁移失败。

    • 目的数据地址关联的代理进程应具备对目的NAS待迁移目录下所有文件和子目录的读写权限,否则可能导致读写失败,从而引发迁移失败的情况。

  • 文件系统的目录个数(层级)较多,每个(层)目录所含文件较少,可能会导致扫描速度变慢的问题,例如:在源NAS总文件数均为100万的情况下,若这些文件分布在50万个目录下,其扫描速度将会比分布在1万个目录下要慢。

  • 在同一个目录下平铺超过20万个文件的情况下,由于受限于代理机器的操作系统内核和NAS服务的并发性能限制,可能会导致迁移速度较慢。

  • 单个目录的体量较大或该目录正在被修改,可能会导致目录列举操作出现卡顿或无响应,从而导致迁移任务进度停滞,解决方案见性能说明FAQ