Jindo DistCp场景化使用指导

• 场景一：导入HDFS数据至OSS，需要使用哪些参数？如果数据量很大、文件很多（百万千万级别）时，该使用哪些参数优化？
• 场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？
• 场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？
• 场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生了新文件，该使用哪些参数处理？
• 场景五：如果需要指定Jindo DistCp作业在Yarn上的队列以及可用带宽，该使用哪些参数？
• 场景六：当通过低频或者归档形式写入OSS，该使用哪些参数？
• 场景七：针对小文件比例和文件大小情况，该使用哪些参数来优化传输速度？
• 场景八：如果需要使用S3作为数据源，该使用哪些参数？
• 场景九：如果需要写入文件至OSS上并压缩（LZO和GZ格式等）时，该使用哪些参数？
• 场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？
• 场景十一：如果想合并符合一定规则的文件，以减少文件个数，该使用哪些参数？
• 场景十二：如果Copy完文件，需要删除原文件，只保留目标文件时，该使用哪些参数？
• 场景十三：如果不想将OSS AccessKey这种参数写在命令行里，该如何处理？

• 可以访问HDFS，并有读数据权限。
• 需要提供OSS的AccessKey（AccessKey ID和AccessKey Secret），以及Endpoint信息，且该AccessKey具有写目标Bucket的权限。
• OSS Bucket不能为归档类型。
• 环境可以提交MapReduce任务。
• 已下载Jindo DistCp JAR包。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 10

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 500 --enableBatch

• Jindo DistCp Counters
  您可以在MapReduce任务结束的Counter信息中，获取Distcp Counters的信息。

  Distcp Counters
          Bytes Destination Copied=11010048000
          Bytes Source Read=11010048000
          Files Copied=1001
      
  Shuffle Errors
          BAD_ID=0
          CONNECTION=0
          IO_ERROR=0
          WRONG_LENGTH=0
          WRONG_MAP=0
          WRONG_REDUCE=0

  参数含义如下：

  • Bytes Destination Copied：表示目标端写文件的字节数大小。
  • Bytes Source Read：表示源端读文件的字节数大小。
  • Files Copied：表示成功Copy的文件数。
• Jindo DistCp --diff

  您可以使用--diff命令，进行源端和目标端的文件比较，该命令会对文件名和文件大小进行比较，记录遗漏或者未成功传输的文件，存储在提交命令的当前目录下，生成manifest文件。

  在场景一的基础上增加--diff参数即可，示例如下。

  hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

  当全部文件传输成功时，系统返回如下信息。

  INFO distcp.JindoDistCp: distcp has been done completely

1. 增加一个--diff命令，查看所有文件是否都传输完成。

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

   当所有文件都传输完成，则会提示如下信息。

   INFO distcp.JindoDistCp: distcp has been done completely.

2. 文件没有传输完成时会生成manifest文件，您可以使用--copyFromManifest和--previousManifest命令进行剩余文件的Copy。示例如下。

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --dest oss://yang-hhht/hourly_table --previousManifest=file:///opt/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

   file:///opt/manifest-2020-04-17.gz为您当前执行命令的本地路径。

• --queue：指定Yarn队列的名称。
• --bandwidth：指定带宽的大小，单位为MB。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --queue yarnqueue --bandwidth 6 --parallelism 10

• --s3Key：连接S3的AccessKey ID。
• --s3Secret：连接S3的AccessKey Secret。
• --s3EndPoint：连接S3的EndPoint信息。

hadoop jar jindo-distcp-<version>.jar --src s3a://yourbucket/ --dest oss://yang-hhht/hourly_table --s3Key yourkey --s3Secret yoursecret --s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --outputCodec=gz --parallelism 10

• none表示保存为未压缩的文件。如果文件已压缩，则Jindo DistCp会将其解压缩。
• keep表示不更改文件压缩形态，按原样复制。

• --targetSize：合并文件的最大大小，单位MB。
• --groupBy：合并规则，正则表达式。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --targetSize=10 --groupBy='.*/([a-z]+).*.txt' --parallelism 20

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --deleteOnSuccess --parallelism 10

• 如果您需要保存OSS的AccessKey相关信息，您需要将以下信息保存在core-site.xml中。

  <configuration>
      <property>
          <name>fs.jfs.cache.oss-accessKeyId</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-accessKeySecret</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-endpoint</name>
          <value>oss-cn-xxx.aliyuncs.com</value>
      </property>
  </configuration>

• 如果您需要保存S3的AccessKey相关信息，您需要将以下信息保存在core-site.xml中。

  <configuration>
      <property>
          <name>fs.s3a.access.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3a.secret.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3.endpoint</name>
          <value>s3-us-west-1.amazonaws.com</value>
      </property>
  </configuration>