迁移HDFS数据到OSS

前提条件

已创建3.28.0及以上版本EMR集群。具体步骤，请参见创建集群。

3.28.0及以上版本EMR集群可以通过Shell命令的方式使用Jindo DistCp。更多信息，请参见Jindo DistCp使用说明。3.28.0以下版本的EMR集群，可能存在兼容性问题，您可以通过提交工单申请处理。

如果您使用的是自建ECS集群，需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。

步骤一：下载JAR包

1. 登录EMR集群。

   1. 登录EMR on ECS控制台。

   2. 单击创建的EMR集群。

   3. 单击节点管理页签，然后单击节点组左侧的。

   4. 单击ECS ID。在ECS实例页面，单击实例ID右侧的远程连接。

   如果您希望使用SSH方式（SSH密钥对或SSH密码）在Windows和Linux环境中登录集群，请参见登录集群。

2. 下载并解压最新版本的Jindosdk-${version}.tar.gz。下载地址，请参见JindoData下载。

步骤二：配置OSS的AccessKey

您可以选择以下任意方式配置OSS的AccessKey。

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI********  --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --parallelism 10

步骤三：迁移或拷贝数据

1. 使用以下命令查看HDFS下的数据。

   hdfs dfs -ls /

   返回结果如下：

   Found 8 items
   drwxrwxrwx   - admin  supergroup          0 2023-10-26 10:55 /.sysinfo
   drwxrwxrwx   - hadoop supergroup          0 2023-10-26 10:55 /apps
   drwxrwxrwx   - root   supergroup          0 2022-08-03 15:54 /data
   -rw-r-----   1 root   supergroup         13 2022-08-25 11:45 /examplefile.txt
   drwxrwxrwx   - spark  supergroup          0 2023-10-26 14:49 /spark-history
   drwx-wx-wx   - hive   supergroup          0 2023-10-26 13:35 /tmp
   drwxrwxrwx   - hive   supergroup          0 2023-10-26 14:48 /user
   drwxrwxrwx   - hadoop supergroup          0 2023-10-26 14:48 /yarn

2. 切换至jindo-distjob-tool-${version}.jar包所在目录。

   cd /opt/apps/JINDOSDK/jindosdk-current/tools

3. 将HDFS中的数据迁移至OSS。

   全量迁移或拷贝数据

   将HDFS指定目录/tmp下的数据全量迁移或拷贝到OSS目标路径oss://examplebucket，示例命令如下：

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI********  --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --parallelism 10

   示例中涉及的各参数或选项说明如下：

   参数及选项	说明	示例
   --src	待迁移或拷贝的HDFS数据所在的路径。	/tmp/
   --dest	OSS中存放迁移或拷贝数据的目标路径。	oss://examplebucket/
   --hadoopConf	指定拥有访问OSS权限的AccessKey ID、AccessKey Secret以及Endpoint。 关于获取AccessKey ID以及AccessKey Secret的具体操作，请参见创建AccessKey。 关于OSS支持的地域（Region）和对应的访问域名（Endopoint）列表信息，请参见访问域名和数据中心。 重要 ECS环境下推荐使用内网 ossEndPoint，即oss-cn-xxx-internal.aliyuncs.com。	--hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com
   --parallelism	根据集群资源调整任务并发数。	10

   增量迁移或拷贝数据

   如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合--update选项完成数据的增量迁移或拷贝。

   将HDFS指定目录/tmp下的数据增量迁移或拷贝到OSS目标路径oss://examplebucket/，示例命令如下：

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --update --parallelism 10

   使用--update选项时，默认开启校验和Checksum。开启后，DistCp将对源路径和目标路径的文件名称、文件大小以及文件的Checksum进行比较。如果源路径或目标路径下的文件名称、文件大小或者文件的Checksum不一致时，将自动触发增量迁移或拷贝任务。

   如果您不需要对源路径和目标路径的文件的Checksum进行比较，请增加--disableChecksum选项关闭Checksum校验，示例命令如下：

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --update --disableChecksum --parallelism 10

附录一：Jindo DistCp支持的参数及选项

Jindo DistCp提供一系列的参数及选项。您可以通过以下命令获取各参数及选项的具体用法。

hadoop jar jindo-distcp-tool-${version}.jar --help

各参数及选项的含义及其示例如下表所示。

附录二：场景示例

场景一：使用JindoDistCp成功传输数据后，如何验证数据完整性？

JindoDistCp提供了以下两种方式用于验证数据的完整性。

• 方式一：DistCp Counters

  通过Distcp Counters信息中包含的BYTES_EXPECTED、FILES_EXPECTED等参数验证数据完整性。

  示例
      JindoDistcpCounter
          BYTES_COPIED=10000
          BYTES_EXPECTED=10000
          FILES_COPIED=11
          FILES_EXPECTED=11
          ...
      Shuffle Errors
          BAD_ID=0
          CONNECTION=0
          IO_ERROR=0
          WRONG_LENGTH=0
          WRONG_MAP=0
          WRONG_REDUCE=0

  示例中可能包含的Counter参数如下：

  参数	说明
  BYTES_COPIED	拷贝成功的字节数。
  BYTES_EXPECTED	预期拷贝的字节数。
  FILES_COPIED	拷贝成功的文件数。
  FILES_EXPECTED	预期拷贝的文件数。
  FILES_SKIPPED	增量拷贝时跳过的文件数。
  BYTES_SKIPPED	增量拷贝时跳过的字节数。
  COPY_FAILED	拷贝失败的文件数，不为0时触发告警。
  BYTES_FAILED	拷贝失败的字节数。
  DIFF_FILES	源路径与目标路径下不相同的文件数，不为0时触发告警。
  DIFF_FAILED	文件比较操作异常的文件数，并计入DIFF_FILE。
  SRC_MISS	源路径下不存在的文件数，并计入DIFF_FILES。
  DST_MISS	目标路径下不存在的文件数，并计入DIFF_FILES。
  LENGTH_DIFF	源文件和目标文件大小不一致的数量，并计入DIFF_FILES。
  CHECKSUM_DIFF	Checksum校验失败的文件数，并计入COPY_FAILED。
  SAME_FILES	源路径与目标路径下完全相同的文件数。

• 方式二：通过--diff选项

  您可以在示例中结合--diff选项对源路径和目标路径下文件名和文件大小进行比较。

  hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --diff

场景二：如果要以低频访问、归档或者冷归档的方式存储写入OSS的文件，该使用哪些参数？

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --policy ia --parallelism 10

如果需要指定为归档存储类型，请将--policy ia替换为--policy archive。如需指定为冷归档存储类型，请将--policy ia替换为--policy coldArchive。此外，目前冷归档存储仅支持部分地域，更多信息，请参见冷归档存储（Cold Archive）。

场景三：迁移或者拷贝任务完成后，希望仅保留目标路径下的数据，且删除源路径下的指定数据，该使用哪些参数？

您可以结合--deleteOnSuccess选项，在迁移或者拷贝任务完成后，仅保留OSS目标路径下的数据，并删除HDFS源路径下的指定数据。

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI******** --hadoopConf fs.oss.accessKeySecret=KZo1******** --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --deleteOnSuccess --parallelism 10