使用Robocopy工具迁移数据

如何加速迁移数据至NAS SMB协议文件系统

如果您需要加速迁移海量数据（例如，10 T以上的上亿小文件，单个文件100K左右的文件），同时也在往同样的SMB文件系统中写入大量的业务数据。您可通过在windows ECS上安装最新的Python程序执行迁移。具体操作如下：

1. 下载并安装最新的Python程序。

2. 设置Python执行路径到系统环境变量PATH中（例如，C:\Python27）。

   set PATH=%PATH%;C:\python27

   您也可以执行where python命令，查看python的安装路径。如下图所示。

3. 将如下所示的migration.py脚本拷贝到阿里云ECS实例的本地目录。例如C:\。

   #!/usr/bin/python
   
   import os
   import random
   import string
   import sys, getopt
   import datetime
   import time
   
   def execute_cmd(cmd):
      print('\tExecuting cmd: %s' % cmd)
      count = 0
      rc = 0
      while (count < 3*60):
          rc = os.system(cmd)
          if (rc != 0):
              count += 1
              time.sleep(1)
              continue
          else:
              break
   
      if rc != 0:
          print('\tFailed to execute cmd: %s. rc:%d' %(cmd, rc))
      return
   
   def migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('Start to migrate from %s to %s for subdir range[%s, %s] at %s.\n' %(srcPath, dstPath, rangeBegin, rangeEnd, currTimeStr))
      index = 0
   
      for entry in os.listdir(srcPath):
          if os.path.isdir(os.path.join(srcPath, entry)):
              if index >= rangeBegin and index <= rangeEnd:
                  srcSubDir = srcPath + "\\" + entry
                  dstSubDir = dstPath + "\\" + entry
                  print('\tBegin of migrating from the %d th dir %s to %s.' %(index, srcSubDir, dstSubDir))
                  cmd = "robocopy \"" + srcSubDir + "\" \"" + dstSubDir + "\" /e /w:5 /z /mt:32"
                  if ignoreFile.strip():
                      cmd += " /XF \"" + ignoreFile + "\""
                  cmd += " >> robocopy.log"
                  execute_cmd(cmd)
                  print('\tEnd of migrating from %s to %s.\n' %(srcSubDir, dstSubDir))
              index += 1
      print('Finish to migrate from %s to %s for subdir range[%s, %s] at %s.\n' %(srcPath, dstPath, rangeBegin, rangeEnd, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   def migrate_regfiles(srcPath, dstPath, ignoreFile):
      currTimeStr = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
      print('Start to migrate from %s to %s for regular files at %s.\n' %(srcPath, dstPath, currTimeStr))
      for entry in os.listdir(srcPath):
          if os.path.isfile(os.path.join(srcPath, entry)):
              print('\tBegin of migrating %s from %s to %s.\n' %(entry, srcPath, dstPath))
              cmd = "attrib -R \"" + dstPath + "\\\\" + entry + "\""
              execute_cmd(cmd)
              cmd = "copy \"" + srcPath + "\\\\" + entry + "\" \"" + dstPath + "\" /Y"
              if ignoreFile.strip():
                  cmd += " /XF \"" + ignoreFile + "\""
              cmd += " >> robocopy.log"
              execute_cmd(cmd)
              print('\tEnd of migrating %s from %s to %s' %(entry, srcPath, dstPath))
      print('Finish to migrate from %s to %s for regular files at %s.\n' %(srcPath, dstPath, datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")))
   
   
   def main(argv):
      srcPath = ''
      dstPath = ''
      range = ''
      ignoreFile = ''
      try:
          opts, args = getopt.getopt(argv,"hs:d:r:i:f",["srcPath=","dstPath=","range=","ignore="])
      except getopt.GetoptError:
          print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
          print('example: migration.py -s x:\pic -d z:\pic [-r 0:100]')
          sys.exit(2)
   
      subdironly = False
      fileonly = False
      for opt, arg in opts:
          if opt == '-h':
              print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
              sys.exit()
          elif opt in ("-s", "--srcPath"):
              srcPath = arg
          elif opt in ("-d", "--dstPath"):
              dstPath = arg
          elif opt in ("-r", "--range"):
              range = arg
              subdironly = True
          elif opt in ("-f", "--file"):
              fileonly = True
          elif opt in ("-i", "--ignore"):
              ignoreFile = arg
   
      if not srcPath.strip() or not dstPath.strip():
           print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
           sys.exit()
   
      if subdironly and fileonly:
           print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
   
           sys.exit()
   
      if not fileonly:
          if not range.strip():
               rangeBegin = 0
               rangeEnd = sys.maxsize-1
          else:
               rangeBegin, rangeEnd = (int(x) for x in range.split(":"))
               if rangeBegin < 0 or rangeEnd >= sys.maxsize or rangeEnd < rangeBegin:
                   print('migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]')
                   print('example: migration.py -s x:\pic -d z:\pic -r 0:99')
                   sys.exit()
          migrate_subdirs(srcPath, dstPath, rangeBegin, rangeEnd, ignoreFile)
   
      if not subdironly:
           migrate_regfiles(srcPath, dstPath, ignoreFile)
   
   if __name__ == "__main__":
   
     main(sys.argv[1:])

4. 迁移数据。命令格式：python ./migration.py -s <source path> -d <destination path> [-r BeginIndex:EndIndex | -f] [-i ignoredFile]。

   命令格式中主要参数说明如下表所示。

   参数	说明
   -s <source path>	指定源文件系统挂载点的目录。例如-s Z：\，表示为源文件系统挂载点的目录为Z盘根目录。
   -d <destination path>	指定目标文件系统的挂载点目录。例如-d Y:\，表示目标文件系统的挂载点目录为Y盘根目录。
   -r BeginIndex:EndIndex	指定要迁移的文件范围，从BeginIndex到EndIndex，例如-r 1:100，表示要迁移的文件列表为1到100。
   -f	指定只迁移源文件系统目录中的第一层的普通文件。 迁移源文件系统目录中的所有文件，忽略范围限制。
   -i ignoredFile	指定源文件系统目录中无需迁移的文件。例如-i ignored.txt，表示不迁移文件名为ignored.txt的文件。

   说明

   缺省时，不需要设置-r或-f，script会顺序Robocopy所有子目录后再copy第一层的普通文件。如果希望利用多客户端的cpu/network来并发加速迁移不同的子目录，在所有客户端都可以访问同一个源盘时，可以指定迁移的子目录的range，比如第一个客户端使用-r 0:9999, 第二个客户端使用-r 10000:19999等等。

   例如，将源文件系统Z:\中的数据迁移至目标文件系统的Y:\。示例如下：

   python ./migration.py -s Z:\ -d Y:\