迁移OSS-HDFS服务不同Bucket之间的数据

步骤一：下载JAR包

JindoData

步骤二：配置OSS-HDFS服务的AccessKey

您可以通过以下任意方式配置OSS-HDFS服务的AccessKey：

• 在示例命令中配置AccessKey

  例如，在将OSS-HDFS中srcbucket的数据迁移到destbucket的示例中结合--hadoopConf选项配置AccessKey。

  hadoop jar jindo-distcp-tool-${version}.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret --parallelism 10

• 通过配置文件预先配置AccessKey

  将OSS-HDFS的fs.oss.accessKeyId、fs.oss.accessKeySecret预先配置在Hadoop的core-site.xml文件里。示例命令如下：

  <configuration>
      <property>
          <name>fs.oss.accessKeyId</name>
          <value>LTAI5t7h6SgiLSganP2m****</value>
      </property>
  
      <property>
          <name>fs.oss.accessKeySecret</name>
          <value>KZo149BD9GLPNiDIEmdQ7dyNKG****</value>
      </property>
  </configuration>

步骤三：配置OSS-HDFS服务Endpoint

访问OSS-HDFS服务时需要配置Endpoint。推荐访问路径格式为oss://<Bucket>.<Endpoint>/<Object>，例如oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成后，JindoSDK会根据访问路径中的Endpoint访问对应的OSS-HDFS服务接口。

您还可以通过其他方式配置OSS-HDFS服务Endpoint，且不同方式配置的Endpoint存在生效优先级。更多信息，请参见配置Endpoint的其他方式。

步骤四：在OSS-HDFS服务不同Bucket之间全量迁移数据

以下以Jindo DistCp 4.4.0版本为例，您可以根据实际环境替换对应的版本号。

使用相同的AccessKey将同一个Region下Bucket A的数据迁移至Bucket B

• 命令格式

  hadoop jar jindo-distcp-tool-${version}.jar --src oss://bucketname.region.oss-dls.aliyuncs.com/ --dest oss://bucketname.region.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret --parallelism 10

  参数及选项说明如下：

  参数及选项	说明	示例
  --src	待迁移或拷贝的OSS-HDFS服务中源Bucket的完整路径。	oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/
  --dest	OSS-HDFS中存放迁移或拷贝数据的目标Bucket的完整路径。	oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/
  --hadoopConf	访问OSS-HDFS服务的AccessKey ID和AccessKey Secret。	AccessKey ID LTAI5t7h6SgiLSganP2m**** AccessKey Secret KZo149BD9GLPNiDIEmdQ7dyNKG****
  --parallelism	根据集群资源调整任务并发数。	10

• 使用示例

  使用相同的AccessKey将华东1（杭州）地域下srcbucket的数据迁移至destbucket。

  hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --parallelism 10

使用不同的AccessKey将Region A下Bucket A的数据迁移至另一个Region下的Bucket B

• 命令格式

  hadoop jar jindo-distcp-tool-${version}.jar --src oss://srcbucketname.region.oss-dls.aliyuncs.com/ --dest oss://destbucketname.region.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.bucket.srcbucketname.accessKeyId=yourkey --hadoopConf fs.oss.bucket.srcbucketname.accessKeySecret=yoursecret --hadoopConf fs.oss.bucket.destbucketname.accessKeyId=yourkey --hadoopConf fs.oss.bucket.destbucketname.accessKeySecret=yoursecret --parallelism 10

  参数及选项说明如下：

  参数及选项	说明	示例
  --src	待迁移或拷贝的OSS-HDFS服务中源Bucket的完整路径。	oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/
  --dest	OSS-HDFS中存放迁移或拷贝数据的目标Bucket的完整路径。	oss://destbucket.cn-shanghai.oss-dls.aliyuncs.com/
  --hadoopConf	访问OSS-HDFS服务中源Bucket以及目标Bucket的AccessKey ID和AccessKey Secret。	访问源Bucket的AccessKey AccessKey ID LTAI5t7h6SgiLSganP2m**** AccessKey Secret KZo149BD9GLPNiDIEmdQ7dyNKG**** 访问目标Bucket的AccessKey AccessKey ID LTAI5t8K9BtVqPSxjdDX**** AccessKey Secret 5xwFyoOjgKmt05VCdqzrwBdAwm****
  --parallelism	根据集群资源调整任务并发数。	10

• 使用示例

  将华东1（杭州）地域OSS-HDFS服务中的srcbucket的数据迁移至华东2（上海）地域的destbucket，且这两个Bucket需使用不同的AccessKey进行访问。

  hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-shanghai.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.bucket.srcbucket.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.bucket.srcbucket.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --hadoopConf --hadoopConf fs.oss.bucket.destbucket.accessKeyId=LTAI5t8K9BtVqPSxjdDX**** --hadoopConf fs.oss.bucket.destbucket.accessKeySecret=5xwFyoOjgKmt05VCdqzrwBdAwm**** --parallelism 10

（可选）在OSS-HDFS服务不同Bucket之间增量迁移数据

如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合--update选项完成数据的增量迁移或拷贝。

例如，您需要使用相同的AccessKey将华东1（杭州）地域下srcbucket的数据增量迁移至destbucket。

hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --update --parallelism 10

更多参考

关于Jindo DistCp的其他使用场景，请参见Jindo DistCp使用说明。