迁移数据至阿里云NAS

使用SFTP客户端迁移数据

1. 为本地操作系统安装SFTP客户端。
   SFTP的客户端工具有多种版本，以下示例中使用的是FileZilla，请选择适合您本地操作系统的版本下载安装SFTP客户端。
2. 建立SFTP客户端与中转节点ECS之间的连接。
   1. 打开FileZilla客户端，按照如下说明进行配置。单击Quickconnect，建立连接。
      在本地客户端与ECS服务端的连接建立之后，左侧区域会显示本地文件系统，右侧区域会显示服务端ECS的文件系统。

      参数	说明
      Host	中转节点ECS的公网IP地址。例如，192.0.2.1。
      用户名	中转节点ECS的用户名。例如，root。
      密码	中转节点ECS的登录密码。例如，root登录密码。
      Port	SFTP端口号，默认为22。

   2. 在页面右侧区域，设置Remote site中的路径为挂载了NAS文件系统的路径（例如/mnt），单击回车即可查看到NAS中的文件列表。
      
3. 上传下载数据。
   • 将左侧区域中的文件或目录拖拽到右侧区域，即完成数据上传。
   • 将右侧区域中的文件或目录拖拽到左侧区域，即完成数据下载。

使用rsync命令行工具迁移数据

1. 安装rsync工具。
   • Linux操作系统

     操作系统	执行命令
     CentOS	使用yum包管理器安装rsync。 sudo yum install rsync
     Redhat
     Ubuntu	使用apt包管理器安装rsync。 sudo apt-get install rsync
     Debian

     说明 如果您使用的其他版本Linux，请使用对应的包管理器安装rsync工具。
   • macOS操作系统
     请下载安装homebrew包管理器，然后执行以下命令安装rsync工具。

     brew install rsync

   • Windows操作系统

     请下载安装Cygwin模拟环境，您可以在安装过程中搜索安装rsync工具，也可以手动下载编译安装rsync。

     说明 需在VPC安全组打开SSH（TCP 22）端口。
2. 上传数据。
   执行以下命令，将本地目录以增量同步的方式，上传到阿里云NAS。

   rsync -avP DirToSync/ root@192.0.2.0:/mnt/DirToSync/

   命令中的参数请根据实际值修改，参数含义如下：

   参数	说明
   DirToSync	需要上传的本地目录名。
   root	上传目标NAS文件系统目录的属主。
   192.0.2.0	已挂载文件存储NAS文件系统的Linux/Windows ECS公网IP。
   /mnt	ECS实例中用来挂载NAS的路径。

   说明

   • rsync命令中的源路径结尾必须带有正斜线（/），否则同步后数据路径不匹配。
   • 您还可以利用rsync并发拷贝上传数据到阿里云文件存储NAS，命令如下。

     threads=<线程数量>; 
     src=<源路径/>; 
     dest=<目标路径/>; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

     例如，线程数量为10，原路径为/abc ，目标路径为/mnt1。

     threads=10; 
     src=/abc/; 
     dest=/mnt1/; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

3. 下载数据。
   执行以下命令，从阿里云NAS下载数据到本地目录。

   rsync -avP root@192.0.2.0:/mnt/DirToSync/ DirToSync/

4. 可选：配置定时上传备份任务。
   本地Linux或macOS操作系统，可以基于rsync命令，通过crontab配置定时上传备份任务。

   • Linux操作系统
     1. 创建本地系统到ECS的无密码通道。具体操作，请参见通过密钥认证登录Linux实例。
        执行以下命令，确认连接成功。

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        说明 ~/.ssh/ecs.pem为密钥文件在本地的存储路径。
     2. 配置crontab。
        执行crontab -e命令打开编辑器，配置定时上传任务，配置内容如下。

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@192.0.2.0:/mnt/Documents/

        这项crontab配置将会在每天23时0分把本机登录用户的Documents目录自动上传备份数据到阿里云NAS。您可以根据实际需求替换配置中的参数。
   • macOS操作系统
     1. 为/usr/sbin/cron目录配置硬盘访问权限。

        请进入系统设置，单击Security & Privacy > Privacy > Full Disk Access，单击解锁，单击+，选择Macintosh HD目录，按cmd+shift+.组合键显示隐藏目录，选择/usr/sbin/cron。

     2. 创建本地系统到ECS的无密码通道。具体操作，请参见通过密钥认证登录Linux实例。
        执行以下命令，确认连接成功。

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        说明 ~/.ssh/ecs.pem为密钥文件在本地的存储路径。
     3. 配置crontab。
        执行crontab -e命令打开编辑器，配置定时上传任务，配置内容如下。

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@1.2.3.4:/mnt/Documents/

        这项crontab配置将会在每天23时0分把本机登录用户的Documents目录自动上传备份数据到阿里云NAS。您可以根据实际需求替换配置中的参数。

   说明 当您使用rsync工具迁移数据性能较差时，可以尝试使用fpsync工具实现多线程迁移。具体操作，请参见附录：使用fpsync命令行工具迁移数据。

使用Robocopy工具迁移数据

Robocopy是Windows系统自带的目录复制命令，该功能可以创建两个文件结构完全的镜像副本而不复制任何不需要的重复文件，同时还允许您保留所有相关文件信息，包括日期、时间戳等等。同时您也可以通过在windows ECS上安装最新的Python程序配置migration.py脚本实现海量数据迁移。

1. 登录用于迁移数据的阿里云ECS实例。
2. 迁移数据。
   执行以下命令，将源文件系统（Z盘）中的数据迁移到目标文件系统（Y盘）中。

   robocopy Z:\ Y:\ /e /w:5 /z /mt:32

   重要字段说明如下，请根据实际情况替换。

   参数	说明
   /mt	设置并发的线程数。默认值为8。 取值为1~128。 本文示例32个线程进行多线程复制。
   /w	设置每次错误重试的间隔秒数。
   /z	开启断点续传。
   /e	拷贝所有子目录（包括空目录）。
   /copyall	复制所有的文件信息。包含： 数据 属性 时间戳 访问控制列表（ACL） 所有者信息 审计信息

   说明 如果您想加速迁移海量数据（例如，10 T以上的上亿小文件），可通过在windows ECS上安装最新的Python程序执行迁移。具体操作，请参见如何加速迁移数据至NAS SMB协议文件系统。
3. 检查迁移结果。
   迁移完后，执行以下Robocopy命令，检查目标文件系统是否与源文件系统一致。

   ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt

   重要字段说明如下，请根据实际情况替换。

   • /e：仅列出目录（包括空目录）。
   • /l：不修改或复制文件，仅记录差异。
   • /fp：指在日志中包括文件的完整路径（仅在省略/ndl时有必要）。
   • /ns：指不在日志中包括文件大小。
   • /ndl：指不在日志中包括文件夹。
   • /njs：指不包括作业摘要。
   • /njh：不包括作业头。
   • /log:reconcile.txt：将迁移结果写入reconcile.txt日志中。如果已存在，将覆盖现有日志。

使用IIS FTP迁移数据

在ECS上配置IIS FTP服务以及在本地系统配置FTP客户端，具体配置方式请参见设置Windows IIS Web服务。

附录：使用fpsync命令行工具迁移数据

1. 下载并安装fpsync工具。

   wget -N https://github.com/martymac/fpart/archive/fpart-1.1.0.tar.gz -P /tmp
   tar -C /tmp/ -xvf /tmp/fpart-1.1.0.tar.gz
   cd /tmp/fpart-fpart-1.1.0
   sudo yum install -y automake libtool
   autoreconf -i
   ./configure
   make
   sudo make install
   sudo yum install parallel -y
   printf "will cite" | parallel --bibtex
   sudo yum install -y rsync

2. 拷贝整个文件目录。

   fpsync -n 10 -f 10000 /data/src/ /data/dst/

   说明 更多关于fpsync工具的信息，请参见fpsync工具。

相关文档

如果您需要从本地数据中心频繁读写NAS上的大量数据，则需要创建网络专线，从数据中心直接挂载NAS进行访问。更多信息，请参见本地数据中心访问文件系统

如果您需要上传大量数据到NAS，而公网访问ECS的带宽无法满足您的需求，建议先上传数据到OSS，然后将OSS数据迁移到NAS。具体操作，请参见上传文件和迁移实施。